惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

The GitHub Blog
The GitHub Blog
S
SegmentFault 最新的问题
MyScale Blog
MyScale Blog
有赞技术团队
有赞技术团队
V
Visual Studio Blog
T
The Blog of Author Tim Ferriss
爱范儿
爱范儿
Vercel News
Vercel News
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Y
Y Combinator Blog
Blog — PlanetScale
Blog — PlanetScale
D
DataBreaches.Net
美团技术团队
Microsoft Security Blog
Microsoft Security Blog
大猫的无限游戏
大猫的无限游戏
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
酷 壳 – CoolShell
酷 壳 – CoolShell
GbyAI
GbyAI
A
About on SuperTechFans
云风的 BLOG
云风的 BLOG
The Cloudflare Blog
宝玉的分享
宝玉的分享
V
V2EX
Microsoft Azure Blog
Microsoft Azure Blog

博客园 - 慕容尘轩

kettle调度系统- XKG-PDI轻松配置对外服务接口 kettle调度系统- XKG-PDI flink cdc kettle调度系统- XKG-PDI添加多数据库支持,mop,达梦,金仓走起 kettle调度系统- XKG-PDI拖拉拽轻松实现DAG,强大到飞起 kettle调度系统- XKG集成Webkettle,kettle脚本在线设计&测试&部署一站式解决方案,全新升级 DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle调度系统- XKG-PDI依赖/依赖链调度使用说明
慕容尘轩 · 2026-08-28 · via 博客园 - 慕容尘轩

场景:我们在使用kettle的过程中知道kettle的基础调度功能非常弱,更没有所谓的依赖链调度,这里的依赖链调度为:B任务依赖A任务,A任务执行完毕之后自动触发B任务。

今天我们一起来学习下使用XKG-PDI系统来搞定kettle的依赖链调度。

1、使用在线编辑创建作业1

1)数据开发-》在线设计,点击新建设计按钮创建作业,目前类型支持作业和转换两种。

image

 2)设计作业1

使用在先编辑拖拉拽设计作业1,使用开始、转换、成功三个步骤,转换步骤嵌套子转换1

image

 3)数据开发-》在线设计,点击新建设计按钮创建转换1

image

 4)设计转换1

使用在先编辑拖拉拽设计转换1,使用生成记录、写日志两个步骤,作业1调用转换1

image

 5)参考作业1和转换1新建作业2和转换2,具体步骤忽略。

 2、作业调度配置

1)创建作业2的调度任务,作业2_task

image

 2)执行方式选择spoon和kettle执行路径,这里选择的是kettle9.5

image

 3)创建作业1_task和作业2_task,如下图所示:

image

 4)作业2_task,点击后面的更多,然后选择依赖分析进行设置依赖关系

image

 5)任务依赖分析

点击配置依赖按钮,选择依赖task或者上有task,这里选择作业1_task,然后点击添加上游按钮

触发窗口:上一个任务执行结束转换多久后出发本任务,这里设置为1分钟

点击保存依赖按钮保存配置结果。

image

 6)保存依赖之后或者重新打开依赖分析可以看到任务的依赖关系

image

 7)点击作业1的依赖分析,可以查看作业1_task的下游任务。

image

 8)点击链路图,可以查看依赖链路图,右键具体的task后会有更加nice的操作,媲美azkaban。 

372acf92-4c07-4e00-9ad4-da261c337026

 9)设置依赖之后,在作业调度列表可以看到关联标记。

d66652ce-213b-4e6a-a226-5a8bfca87a51

 3、作业调度触发 

1)这了为了演示方便,我选择手动调度一次,可以单个触发,也可以触发多个task,这里我触发的作业1_task.

image

 2)触发任务之后,我们调度中心-作业监控里面已经可以看到任务运行的记录,任务名称绿色展示时表示两个任务都执行成功。红色表示失败。

29dbf225-f63c-45de-b28a-6271c9dca23c

 3)仔细观察两个任务的开始和执行时间,确定依赖的task的执行顺序是正确的。

aaa4b260-a12f-4e0c-acaa-2b1f17d88588

 4)不同任务的执行方式调整为spoon、java、carte三种之后,都可以正常按照依赖关系触发。

7db093c4-caab-4fa5-b9d1-4ab141591130

 今天先写到这里了,下期咱们继续学习XKG-PDI中的DAG调度。

image