惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

酷 壳 – CoolShell
酷 壳 – CoolShell
H
Hacker News: Front Page
P
Palo Alto Networks Blog
T
ThreatConnect
Apple Machine Learning Research
Apple Machine Learning Research
博客园_首页
T
True Tiger Recordings
P
Privacy & Cybersecurity Law Blog
B
Blog
IT之家
IT之家
Last Week in AI
Last Week in AI
F
Full Disclosure
Hacker News: Ask HN
Hacker News: Ask HN
C
Comments on: Blog
Microsoft Azure Blog
Microsoft Azure Blog
C
Cybersecurity and Infrastructure Security Agency CISA
Microsoft Security Blog
Microsoft Security Blog
博客园 - 【当耐特】
N
News and Events Feed by Topic
NISL@THU
NISL@THU
腾讯CDC
雷峰网
雷峰网
Security Latest
Security Latest
李成银的技术随笔
M
Microsoft Research Blog - Microsoft Research
L
LangChain Blog
L
Lohrmann on Cybersecurity
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
C
Check Point Blog
Y
Y Combinator Blog
Recent Announcements
Recent Announcements
博客园 - Franky
N
News | PayPal Newsroom
V
V2EX
A
About on SuperTechFans
The Register - Security
The Register - Security
月光博客
月光博客
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Google Online Security Blog
Google Online Security Blog
MyScale Blog
MyScale Blog
Cisco Talos Blog
Cisco Talos Blog
Vercel News
Vercel News
WordPress大学
WordPress大学
C
Cyber Attacks, Cyber Crime and Cyber Security
The Hacker News
The Hacker News
IntelliJ IDEA : IntelliJ IDEA – the Leading IDE for Professional Development in Java and Kotlin | The JetBrains Blog
IntelliJ IDEA : IntelliJ IDEA – the Leading IDE for Professional Development in Java and Kotlin | The JetBrains Blog
爱范儿
爱范儿
A
Arctic Wolf
L
LINUX DO - 最新话题
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More

博客园 - 大汪的数据之路

数据码农马年大吉 字符串分割并展开成表格的SQL实现方法 BI报表及可视化分析类工具使用经验总结(下) BI报表及可视化分析类工具使用经验总结(上) 基于Python实现自动化微信通知和预警 Chat2DB测试体验 常用数据管理工具与平台汇总 OneID系统建设实践总结 网易有数BI使用总结 网易NDH大数据平台使用经验 版本管理总结 程序自动化vs人工手动处理 SQL开发总结 数据平台使用经验 Python环境安装、管理与部署 windows获取kerberos认证 SQL动态长度行列转置 ODI Scenario 场景 Oracle KEEP 分析函数
数据团队运维值班任务简介
大汪的数据之路 · 2025-07-14 · via 博客园 - 大汪的数据之路

数据团队运维值班主要有以下几类工作:

一、跑批任务运维

一般来说,大部分非实时数据系统的数据时效为T-1,每日上班前要能展示昨日的数据。一般会在夜间进行对昨日的数据进行批处理。若批处理程序出现错误,则需要人工进行介入处理。

错误一般分为两种,平台工具问题与批处理程序问题。

平台工具类问题,典型案列有:

  1、ETL工具ODI中存在中间组件取名重复问题,当多个组件同时运行时,会存在命名冲突

  2、大数据平台中任务节点内存分配不够,采集并发度太高导致异常。

  3、Mysql中审计日志空间不够

  4、ETL工具服务器(如ODI、Kettle等)出错,导致批处理程序没有启动

批处理程序问题典型案例有:

  1,Oracle中视图语法错误导致编译失败

  2,数据格式错误,典型如数字列中存入了字符串

  3,数据长度错误,由于某些序号列是自增长列,当使用到一定时间后,会超出原来设计的长度或者超出系统默认的最大长度

  4,外部供应商数据供数延迟(如每日通过邮件发送数据)

二、数据问题核查

  1,少量数据少了:此时往往是前一天数据同步错误

  2,数据错了:数据系统中某些数据指标和源系统无法匹配,此时可能是指标的逻辑口径不一致造成,需要排查数据系统中的计算逻辑

  3,大批量的数据缺失:此时往往是业务源系统做了批量数据迁移而没有通知下游数据系统

三、数据平台或工具类使用答疑

1、报表工具类

  部分报表(如:网易BI、FineBI、OBIEE)支持业务自助分析,此时一些新手业务人员在自行设计报表或者报告时由于不熟悉其功能,会导致制作出来的报表数据明显异常或者无法制作其想要的报表。

四、权限类问题处理

最常见的就是看不到某个报表或者报表中看不到某些数据。权限问题一般比较复杂,可能会涉及到盘综复杂的历史原因。