惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
Microsoft Security Blog
Microsoft Security Blog
T
Threatpost
D
DataBreaches.Net
B
Blog RSS Feed
GbyAI
GbyAI
T
The Blog of Author Tim Ferriss
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
N
Netflix TechBlog - Medium
O
OpenAI News
Webroot Blog
Webroot Blog
Stack Overflow Blog
Stack Overflow Blog
Recent Announcements
Recent Announcements
Google Online Security Blog
Google Online Security Blog
SecWiki News
SecWiki News
H
Help Net Security
Forbes - Security
Forbes - Security
N
News and Events Feed by Topic
aimingoo的专栏
aimingoo的专栏
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
腾讯CDC
B
Blog
H
Heimdal Security Blog
博客园 - 三生石上(FineUI控件)
C
CERT Recently Published Vulnerability Notes
L
Lohrmann on Cybersecurity
G
Google Developers Blog
Scott Helme
Scott Helme
C
CXSECURITY Database RSS Feed - CXSecurity.com
罗磊的独立博客
V
Visual Studio Blog
L
LINUX DO - 热门话题
T
Threat Research - Cisco Blogs
T
The Exploit Database - CXSecurity.com
F
Full Disclosure
C
Cisco Blogs
The Last Watchdog
The Last Watchdog
Security Archives - TechRepublic
Security Archives - TechRepublic
F
Fortinet All Blogs
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Google DeepMind News
Google DeepMind News
S
Security Affairs
P
Privacy & Cybersecurity Law Blog
S
Secure Thoughts
V
V2EX
雷峰网
雷峰网
Security Latest
Security Latest
H
Hacker News: Front Page
TaoSecurity Blog
TaoSecurity Blog
M
MIT News - Artificial intelligence

博客园 - 大汪的数据之路

星环大数据使用体验 vibe coding使用体验 基于SQL实现分组的文字排序聚合 数据码农马年大吉 字符串分割并展开成表格的SQL实现方法 BI报表及可视化分析类工具使用经验总结(下) BI报表及可视化分析类工具使用经验总结(上) 基于Python实现自动化微信通知和预警 Chat2DB测试体验 常用数据管理工具与平台汇总 OneID系统建设实践总结 网易有数BI使用总结 网易NDH大数据平台使用经验 版本管理总结 程序自动化vs人工手动处理 SQL开发总结 数据平台使用经验 Python环境安装、管理与部署 windows获取kerberos认证 SQL动态长度行列转置 ODI Scenario 场景 Oracle KEEP 分析函数
数据团队运维值班任务简介
大汪的数据之路 · 2025-07-14 · via 博客园 - 大汪的数据之路

数据团队运维值班主要有以下几类工作:

一、跑批任务运维

一般来说,大部分非实时数据系统的数据时效为T-1,每日上班前要能展示昨日的数据。一般会在夜间进行对昨日的数据进行批处理。若批处理程序出现错误,则需要人工进行介入处理。

错误一般分为两种,平台工具问题与批处理程序问题。

平台工具类问题,典型案列有:

  1、ETL工具ODI中存在中间组件取名重复问题,当多个组件同时运行时,会存在命名冲突

  2、大数据平台中任务节点内存分配不够,采集并发度太高导致异常。

  3、Mysql中审计日志空间不够

  4、ETL工具服务器(如ODI、Kettle等)出错,导致批处理程序没有启动

批处理程序问题典型案例有:

  1,Oracle中视图语法错误导致编译失败

  2,数据格式错误,典型如数字列中存入了字符串

  3,数据长度错误,由于某些序号列是自增长列,当使用到一定时间后,会超出原来设计的长度或者超出系统默认的最大长度

  4,外部供应商数据供数延迟(如每日通过邮件发送数据)

二、数据问题核查

  1,少量数据少了:此时往往是前一天数据同步错误

  2,数据错了:数据系统中某些数据指标和源系统无法匹配,此时可能是指标的逻辑口径不一致造成,需要排查数据系统中的计算逻辑

  3,大批量的数据缺失:此时往往是业务源系统做了批量数据迁移而没有通知下游数据系统

三、数据平台或工具类使用答疑

1、报表工具类

  部分报表(如:网易BI、FineBI、OBIEE)支持业务自助分析,此时一些新手业务人员在自行设计报表或者报告时由于不熟悉其功能,会导致制作出来的报表数据明显异常或者无法制作其想要的报表。

四、权限类问题处理

最常见的就是看不到某个报表或者报表中看不到某些数据。权限问题一般比较复杂,可能会涉及到盘综复杂的历史原因。