惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 三生石上(FineUI控件)
O
OpenAI News
WordPress大学
WordPress大学
P
Proofpoint News Feed
J
Java Code Geeks
G
Google Developers Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
The Register - Security
The Register - Security
Engineering at Meta
Engineering at Meta
H
Help Net Security
人人都是产品经理
人人都是产品经理
Vercel News
Vercel News
N
Netflix TechBlog - Medium
F
Full Disclosure
U
Unit 42
Latest news
Latest news
N
News and Events Feed by Topic
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
I
InfoQ
L
LINUX DO - 最新话题
T
Threat Research - Cisco Blogs
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
爱范儿
爱范儿
K
Kaspersky official blog
Google Online Security Blog
Google Online Security Blog
小众软件
小众软件
I
Intezer
V
V2EX
S
SegmentFault 最新的问题
C
CERT Recently Published Vulnerability Notes
阮一峰的网络日志
阮一峰的网络日志
Security Archives - TechRepublic
Security Archives - TechRepublic
Recent Announcements
Recent Announcements
C
Check Point Blog
C
Cyber Attacks, Cyber Crime and Cyber Security
Recorded Future
Recorded Future
博客园 - Franky
Project Zero
Project Zero
S
Securelist
Attack and Defense Labs
Attack and Defense Labs
Spread Privacy
Spread Privacy
The Hacker News
The Hacker News
T
The Blog of Author Tim Ferriss
Google DeepMind News
Google DeepMind News
aimingoo的专栏
aimingoo的专栏
博客园 - 叶小钗
NISL@THU
NISL@THU
云风的 BLOG
云风的 BLOG
S
Secure Thoughts
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed

博客园 - 大汪的数据之路

星环大数据使用体验 vibe coding使用体验 基于SQL实现分组的文字排序聚合 数据码农马年大吉 字符串分割并展开成表格的SQL实现方法 BI报表及可视化分析类工具使用经验总结(下) BI报表及可视化分析类工具使用经验总结(上) 基于Python实现自动化微信通知和预警 Chat2DB测试体验 常用数据管理工具与平台汇总 OneID系统建设实践总结 网易有数BI使用总结 网易NDH大数据平台使用经验 版本管理总结 程序自动化vs人工手动处理 SQL开发总结 数据平台使用经验 Python环境安装、管理与部署 windows获取kerberos认证 SQL动态长度行列转置 ODI Scenario 场景 Oracle KEEP 分析函数
数据团队运维值班任务简介
大汪的数据之路 · 2025-07-14 · via 博客园 - 大汪的数据之路

数据团队运维值班主要有以下几类工作:

一、跑批任务运维

一般来说,大部分非实时数据系统的数据时效为T-1,每日上班前要能展示昨日的数据。一般会在夜间进行对昨日的数据进行批处理。若批处理程序出现错误,则需要人工进行介入处理。

错误一般分为两种,平台工具问题与批处理程序问题。

平台工具类问题,典型案列有:

  1、ETL工具ODI中存在中间组件取名重复问题,当多个组件同时运行时,会存在命名冲突

  2、大数据平台中任务节点内存分配不够,采集并发度太高导致异常。

  3、Mysql中审计日志空间不够

  4、ETL工具服务器(如ODI、Kettle等)出错,导致批处理程序没有启动

批处理程序问题典型案例有:

  1,Oracle中视图语法错误导致编译失败

  2,数据格式错误,典型如数字列中存入了字符串

  3,数据长度错误,由于某些序号列是自增长列,当使用到一定时间后,会超出原来设计的长度或者超出系统默认的最大长度

  4,外部供应商数据供数延迟(如每日通过邮件发送数据)

二、数据问题核查

  1,少量数据少了:此时往往是前一天数据同步错误

  2,数据错了:数据系统中某些数据指标和源系统无法匹配,此时可能是指标的逻辑口径不一致造成,需要排查数据系统中的计算逻辑

  3,大批量的数据缺失:此时往往是业务源系统做了批量数据迁移而没有通知下游数据系统

三、数据平台或工具类使用答疑

1、报表工具类

  部分报表(如:网易BI、FineBI、OBIEE)支持业务自助分析,此时一些新手业务人员在自行设计报表或者报告时由于不熟悉其功能,会导致制作出来的报表数据明显异常或者无法制作其想要的报表。

四、权限类问题处理

最常见的就是看不到某个报表或者报表中看不到某些数据。权限问题一般比较复杂,可能会涉及到盘综复杂的历史原因。