惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Stack Overflow Blog
Stack Overflow Blog
N
Netflix TechBlog - Medium
大猫的无限游戏
大猫的无限游戏
Cyberwarzone
Cyberwarzone
T
Troy Hunt's Blog
Vercel News
Vercel News
T
The Blog of Author Tim Ferriss
U
Unit 42
Last Week in AI
Last Week in AI
云风的 BLOG
云风的 BLOG
F
Full Disclosure
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Google DeepMind News
Google DeepMind News
Hacker News - Newest:
Hacker News - Newest: "LLM"
IT之家
IT之家
Google Online Security Blog
Google Online Security Blog
Cloudbric
Cloudbric
月光博客
月光博客
Hacker News: Ask HN
Hacker News: Ask HN
罗磊的独立博客
N
News and Events Feed by Topic
S
Secure Thoughts
The Last Watchdog
The Last Watchdog
Google DeepMind News
Google DeepMind News
aimingoo的专栏
aimingoo的专栏
Microsoft Security Blog
Microsoft Security Blog
I
InfoQ
Hugging Face - Blog
Hugging Face - Blog
I
Intezer
C
Cybersecurity and Infrastructure Security Agency CISA
博客园 - 聂微东
P
Privacy International News Feed
有赞技术团队
有赞技术团队
博客园_首页
F
Fortinet All Blogs
Recent Announcements
Recent Announcements
O
OpenAI News
博客园 - 【当耐特】
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
T
Tor Project blog
B
Blog
量子位
T
Threatpost
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
C
CXSECURITY Database RSS Feed - CXSecurity.com
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
V
Vulnerabilities – Threatpost
酷 壳 – CoolShell
酷 壳 – CoolShell
S
SegmentFault 最新的问题
L
LangChain Blog

博客园 - 慕容尘轩

DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程
慕容尘轩 · 2026-03-11 · via 博客园 - 慕容尘轩

场景:

上周群里探讨了kettle的job依赖问题(kettle DAG),可谓是热闹非凡,今天抽时间一起整理和探讨下。比如有三个job,分别是jobA1、jobA2、jobB,要实现jobA1和jobA2并行执行,然后等jobA1和jobA2执行结束之后在执行jobB。废话少说,开干。

e8406d86-1a5b-4d7e-a5d9-c1933d2339c7

1、 方案1

1)整体最外穿是一个大的job

2)作业A1、作业A2、作业B是三个子job

ba723734-3914-4906-9dcb-2ad13dfb1245

 3)作业A1、作业A2、作业B 子job设计

aeebcd27-8af7-4539-9933-8f192db42e94

 4)转换A1设计

91a4b62c-e61f-4a6c-87ac-9d7491c1f78e

 5)执行测试

从打印的日志可以清楚的看到实际执行路径有两条

a、作业A1-》作业B

b、作业A2-》作业B

而且作业A1和A2是同步执行的,有先后顺序,先执行了a路径,然后执行了b路径

7cdecea1-447b-4b60-9d53-fd4098542aa5

38a5e5b5-d3bd-4a1c-9a49-a75e34cf91a2

 6)作业度量

从作业度量信息来看,更清晰地看到执行的路径,可以清楚地看到最后的成功步骤也执行了2次。

4b32b95c-7ebb-4c96-a576-09e9cf44906c

 2、方案2

1)将jobA1和jobA2调整为并行job,右键Start步骤,选择Run Next Entries In Parallel,下图中的两条斜线代表并行执行。

截屏2026-03-09 21.24.29

 2)执行测试

从下面的作业度量来看,作业A1和A2同时执行,作业B依然执行了两次。

71d0d3a5-17c8-4bb3-b073-239d17a9afef

3、方案3

1)将子jobA1和jobA2使用一个jobA包裹下。

a82c3740-1072-47f7-934e-0c3c2a672a7e

2)jobA和jobB串行。

0358c252-2493-409c-9f28-4f5f935af7d8

3)执行测试

从作业度量可以清楚的看到作业A(A1+A2)和作业B都是只执行了一次,先执行作业A(A1+A2),然后再执行作业B。

作业A(A1+A2)中的子作业A和子作业B并行执行,且都执行了一次。

8ae0c3fa-f876-4622-8892-cf762bbd6c17

 写在最后

纸上得来终觉浅,绝知此事要躬行。当我们遇到一个问题时,可以群里和各位老师互相探讨,但是如果仅仅停留在探讨阶段,进步还是比较慢的。动手做,理论结合实践,这样进步才更快,加油宝子们。

image