惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

小众软件
小众软件
B
Blog RSS Feed
美团技术团队
博客园 - 【当耐特】
C
Check Point Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
M
MIT News - Artificial intelligence
aimingoo的专栏
aimingoo的专栏
J
Java Code Geeks
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Microsoft Azure Blog
Microsoft Azure Blog
博客园 - 司徒正美
T
Tailwind CSS Blog
Last Week in AI
Last Week in AI
Google DeepMind News
Google DeepMind News
D
DataBreaches.Net
人人都是产品经理
人人都是产品经理
N
Netflix TechBlog - Medium
Vercel News
Vercel News
P
Proofpoint News Feed
IT之家
IT之家
I
InfoQ
腾讯CDC
H
Hackread – Cybersecurity News, Data Breaches, AI and More

博客园 - 大汪的数据之路

外企的问卷调查 10 Tips On How To Be Exceptional In Anything You Do(在所做的任何事情上变得卓越的10个方法) 企业网络环境全景解析——面向AI智能数据分析场景的数据工程师指南 数据虚拟化技术解析:从概念到实践 数据虚拟化:从“搬运数据”到“连接数据”的范式革命 数据运维值班预警自动化 数据“搬砖”实战经验 星环大数据使用体验 vibe coding使用体验 基于SQL实现分组的文字排序聚合 数据码农马年大吉 字符串分割并展开成表格的SQL实现方法 BI报表及可视化分析类工具使用经验总结(下) BI报表及可视化分析类工具使用经验总结(上) 基于Python实现自动化微信通知和预警 Chat2DB测试体验 常用数据管理工具与平台汇总 OneID系统建设实践总结 网易有数BI使用总结 网易NDH大数据平台使用经验 版本管理总结 程序自动化vs人工手动处理 SQL开发总结 数据平台使用经验 Python环境安装、管理与部署 windows获取kerberos认证 SQL动态长度行列转置 ODI Scenario 场景 Oracle KEEP 分析函数
数据团队运维值班任务简介
大汪的数据之路 · 2025-07-14 · via 博客园 - 大汪的数据之路

数据团队运维值班主要有以下几类工作:

一、跑批任务运维

一般来说,大部分非实时数据系统的数据时效为T-1,每日上班前要能展示昨日的数据。一般会在夜间进行对昨日的数据进行批处理。若批处理程序出现错误,则需要人工进行介入处理。

错误一般分为两种,平台工具问题与批处理程序问题。

平台工具类问题,典型案列有:

  1、ETL工具ODI中存在中间组件取名重复问题,当多个组件同时运行时,会存在命名冲突

  2、大数据平台中任务节点内存分配不够,采集并发度太高导致异常。

  3、Mysql中审计日志空间不够

  4、ETL工具服务器(如ODI、Kettle等)出错,导致批处理程序没有启动

批处理程序问题典型案例有:

  1,Oracle中视图语法错误导致编译失败

  2,数据格式错误,典型如数字列中存入了字符串

  3,数据长度错误,由于某些序号列是自增长列,当使用到一定时间后,会超出原来设计的长度或者超出系统默认的最大长度

  4,外部供应商数据供数延迟(如每日通过邮件发送数据)

二、数据问题核查

  1,少量数据少了:此时往往是前一天数据同步错误

  2,数据错了:数据系统中某些数据指标和源系统无法匹配,此时可能是指标的逻辑口径不一致造成,需要排查数据系统中的计算逻辑

  3,大批量的数据缺失:此时往往是业务源系统做了批量数据迁移而没有通知下游数据系统

三、数据平台或工具类使用答疑

1、报表工具类

  部分报表(如:网易BI、FineBI、OBIEE)支持业务自助分析,此时一些新手业务人员在自行设计报表或者报告时由于不熟悉其功能,会导致制作出来的报表数据明显异常或者无法制作其想要的报表。

四、权限类问题处理

最常见的就是看不到某个报表或者报表中看不到某些数据。权限问题一般比较复杂,可能会涉及到盘综复杂的历史原因。