惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

GbyAI
GbyAI
爱范儿
爱范儿
Y
Y Combinator Blog
T
Tor Project blog
V
Visual Studio Blog
U
Unit 42
B
Blog RSS Feed
博客园 - 叶小钗
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
阮一峰的网络日志
阮一峰的网络日志
T
Tailwind CSS Blog
G
Google Developers Blog
I
InfoQ
Stack Overflow Blog
Stack Overflow Blog
IT之家
IT之家
Microsoft Azure Blog
Microsoft Azure Blog
T
The Blog of Author Tim Ferriss
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
The Cloudflare Blog
Google DeepMind News
Google DeepMind News
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
H
Hackread – Cybersecurity News, Data Breaches, AI and More
F
Fortinet All Blogs
人人都是产品经理
人人都是产品经理
Apple Machine Learning Research
Apple Machine Learning Research
The GitHub Blog
The GitHub Blog
Recorded Future
Recorded Future
博客园_首页
罗磊的独立博客
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
量子位
P
Proofpoint News Feed
Jina AI
Jina AI
博客园 - 【当耐特】
S
Security @ Cisco Blogs
I
Intezer
MyScale Blog
MyScale Blog
Simon Willison's Weblog
Simon Willison's Weblog
P
Privacy & Cybersecurity Law Blog
腾讯CDC
T
Tenable Blog
A
Arctic Wolf
T
Threat Research - Cisco Blogs
S
Securelist
Know Your Adversary
Know Your Adversary
Spread Privacy
Spread Privacy
C
Check Point Blog
NISL@THU
NISL@THU
Microsoft Security Blog
Microsoft Security Blog
V
Vulnerabilities – Threatpost

博客园 - 慕容尘轩

DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获
慕容尘轩 · 2026-01-12 · via 博客园 - 慕容尘轩

场景:之前在kettle社群里面有看到这样一个job,一个job中有很多作业项,每个作业项执行失败之后都会自动发送邮件通知。当我看到这个设计之后,第一时间的反应是:kettle肯定存在统一异常或者统一错误处理机制。好,今天咱们一起来学习下。

 1、基于webspoon设计子转换t1_error

1)生成记录,生成模拟数据驱动流程,里面只有msg字段。

e00366ce-27db-4102-8a55-56702f0bc62a

2)写日志,在写日志步骤里面故意写一个msg1字段,此字段生成记录步骤里面不存在,所以一定会报错。

003fdc16-d13b-4e4f-b00f-85c3655a34ac

 2、设计subjob,调用转换t1_error

1)转换,使用该步骤调用子转换t1_error

b45d5f4b-e8b5-4855-9538-5ab535c65bcc

2)发送邮件,将转换和发送邮件两个步骤连起来,并且设置 连线的类型为红色叉号,红色叉号表示可以将转换步骤发生的错误信息通过邮件发送给用户。

dbbcd992-2adb-474b-9e4f-3bb736179eec

 3)运行subjob,webspoon日志里面显示错误信息,同时也将错误信息发送给用户。

5b56794c-a8fe-4515-835c-f5e4de446854

4)邮箱收到错误信息

 从收到有的邮件信息可以清楚的看到哪个转换发生了异常,该转换步骤errors=1,result=false,表示出现了异常。

0d475b02-c545-4214-a73f-26740665d212

d694b631-09cf-4006-8a1e-a8fd522057c5

 3、设计父job

1)将subjob中的发送邮件去掉

7ac906b3-b992-4c54-88ad-d14f9d3f4170

 2)设计父job

 作业步骤调用subjob

该job中添加发送邮件,用来捕获作业项产生的错误信息。

0ebe2efa-5153-4838-a71c-07b8caac3567

 3)运行父job

从邮件内容来看,父job中的作业可以捕获到subjob发生的错误信息。

c84f7214-d940-44a3-aac1-d76426d59ecc

f8a00aab-0959-4d3c-a30a-305343b36174

写到最后

从上述demo中可以得知,kettle可以使用转换或者作业+发送邮件来进行统一捕获异常或者错误信息。另外如果subjob中已经捕获过异常的话,父job是捕获不到的。

另外疑惑的一个地方是:无论subjob还是父job捕获的异常里面都没有子转换的错误信息,有知道的小伙伴可以评论区留言探讨。

image