惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
aimingoo的专栏
aimingoo的专栏
D
Docker
N
Netflix TechBlog - Medium
IT之家
IT之家
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
宝玉的分享
宝玉的分享
美团技术团队
P
Proofpoint News Feed
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Stack Overflow Blog
Stack Overflow Blog
The Cloudflare Blog
G
Google Developers Blog
腾讯CDC
Help Net Security
Help Net Security
Google DeepMind News
Google DeepMind News
Security Archives - TechRepublic
Security Archives - TechRepublic
Apple Machine Learning Research
Apple Machine Learning Research
L
LINUX DO - 最新话题
O
OpenAI News
博客园 - 司徒正美
Google Online Security Blog
Google Online Security Blog
H
Hacker News: Front Page
博客园 - 聂微东
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Project Zero
Project Zero
Vercel News
Vercel News
C
CXSECURITY Database RSS Feed - CXSecurity.com
C
Check Point Blog
Application and Cybersecurity Blog
Application and Cybersecurity Blog
A
Arctic Wolf
Microsoft Security Blog
Microsoft Security Blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Forbes - Security
Forbes - Security
www.infosecurity-magazine.com
www.infosecurity-magazine.com
人人都是产品经理
人人都是产品经理
大猫的无限游戏
大猫的无限游戏
S
Security @ Cisco Blogs
T
Tor Project blog
D
DataBreaches.Net
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Spread Privacy
Spread Privacy
W
WeLiveSecurity
V2EX - 技术
V2EX - 技术
Simon Willison's Weblog
Simon Willison's Weblog
AI
AI
Security Latest
Security Latest
S
Securelist

博客园 - 慕容尘轩

DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程
慕容尘轩 · 2026-03-11 · via 博客园 - 慕容尘轩

场景:

上周群里探讨了kettle的job依赖问题(kettle DAG),可谓是热闹非凡,今天抽时间一起整理和探讨下。比如有三个job,分别是jobA1、jobA2、jobB,要实现jobA1和jobA2并行执行,然后等jobA1和jobA2执行结束之后在执行jobB。废话少说,开干。

e8406d86-1a5b-4d7e-a5d9-c1933d2339c7

1、 方案1

1)整体最外穿是一个大的job

2)作业A1、作业A2、作业B是三个子job

ba723734-3914-4906-9dcb-2ad13dfb1245

 3)作业A1、作业A2、作业B 子job设计

aeebcd27-8af7-4539-9933-8f192db42e94

 4)转换A1设计

91a4b62c-e61f-4a6c-87ac-9d7491c1f78e

 5)执行测试

从打印的日志可以清楚的看到实际执行路径有两条

a、作业A1-》作业B

b、作业A2-》作业B

而且作业A1和A2是同步执行的,有先后顺序,先执行了a路径,然后执行了b路径

7cdecea1-447b-4b60-9d53-fd4098542aa5

38a5e5b5-d3bd-4a1c-9a49-a75e34cf91a2

 6)作业度量

从作业度量信息来看,更清晰地看到执行的路径,可以清楚地看到最后的成功步骤也执行了2次。

4b32b95c-7ebb-4c96-a576-09e9cf44906c

 2、方案2

1)将jobA1和jobA2调整为并行job,右键Start步骤,选择Run Next Entries In Parallel,下图中的两条斜线代表并行执行。

截屏2026-03-09 21.24.29

 2)执行测试

从下面的作业度量来看,作业A1和A2同时执行,作业B依然执行了两次。

71d0d3a5-17c8-4bb3-b073-239d17a9afef

3、方案3

1)将子jobA1和jobA2使用一个jobA包裹下。

a82c3740-1072-47f7-934e-0c3c2a672a7e

2)jobA和jobB串行。

0358c252-2493-409c-9f28-4f5f935af7d8

3)执行测试

从作业度量可以清楚的看到作业A(A1+A2)和作业B都是只执行了一次,先执行作业A(A1+A2),然后再执行作业B。

作业A(A1+A2)中的子作业A和子作业B并行执行,且都执行了一次。

8ae0c3fa-f876-4622-8892-cf762bbd6c17

 写在最后

纸上得来终觉浅,绝知此事要躬行。当我们遇到一个问题时,可以群里和各位老师互相探讨,但是如果仅仅停留在探讨阶段,进步还是比较慢的。动手做,理论结合实践,这样进步才更快,加油宝子们。

image