惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
雷峰网
雷峰网
S
SegmentFault 最新的问题
博客园 - 【当耐特】
博客园_首页
量子位
爱范儿
爱范儿
博客园 - 叶小钗
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Jina AI
Jina AI
V
V2EX
美团技术团队
V
Visual Studio Blog
博客园 - 三生石上(FineUI控件)
IT之家
IT之家
Hugging Face - Blog
Hugging Face - Blog
Apple Machine Learning Research
Apple Machine Learning Research
小众软件
小众软件
博客园 - 聂微东
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
The Cloudflare Blog
宝玉的分享
宝玉的分享
WordPress大学
WordPress大学
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻

博客园 - 慕容尘轩

kettle调度系统- XKG-PDI轻松配置对外服务接口 kettle调度系统- XKG-PDI flink cdc kettle调度系统- XKG-PDI添加多数据库支持,mop,达梦,金仓走起 kettle调度系统- XKG-PDI依赖/依赖链调度使用说明 kettle调度系统- XKG集成Webkettle,kettle脚本在线设计&测试&部署一站式解决方案,全新升级 DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle调度系统- XKG-PDI拖拉拽轻松实现DAG,强大到飞起
慕容尘轩 · 2026-09-05 · via 博客园 - 慕容尘轩

场景:之前我们讲过使用kettle自身实现DAG调度(串行、并行、依赖),kettle自身的DAG调度使用起来有些费力,今天我们一起学习下如何使用XKG-PDI来实现DAG调度。

1、创建三个task用于演示

不知道如何创建task的可以看我前面的文字,我这里提前创建好了3个task,分别为作业1_task、作业2_task、学生信息同步task。

63289645-0a65-4bc7-968e-322bd03dfc2d

2、创建DAG-串行

 1)操作菜单:数据开发->DAG调度

点击新增按钮创建DAG,这里我们演示任务串行,执行顺序为作业1_task->作业2_task->学生信息同步task。输入名称和Cron表达式后保存我们设计的DAG。

bc314ed5-5f1d-4c1e-8494-b6870546cdfd

 2)保存之后可以看到我们已经成功创建了一个DAG任务流,点击操作列的允许按钮来运行任务流。

b469d463-02d8-4407-9f8d-b47f7815c1ba

 3)运行DAG任务流之后,可以在调度中心->作业监控这里看到我的运行日志。

4ef80ccc-40e2-4f23-b5f0-757009796826

 4)点击任务流按钮可以看到运行概览图,如下图作业1_task和作业2_task运行成功,最后一个task运行失败。

37a483f2-1cfc-45dc-a561-3e8bea44bc9d

 5)点击节点详情,可以看到每个任务的具体执行状态,开始和结束时间,从下面可以清楚的看到任务的执行顺序。

dbbc4923-9532-4b77-a877-2a0dfb7957c0

3、创建DAG-并行

1)作业1_task执行完成之后并行执行作业2_task和学生信息同步task,如下图所示:

image

 2) 并行设置成功之后,虚线+//方式进行标记。

c05b6fce-626f-47ac-834c-56010c9e5b2b

 3)点击DAG并行任务的立即执行按钮触发调度。

0dd3bec3-b9da-4b7a-bba3-6ea8ec0d5ea8

 4)DAG串行任务流运行概览如下图所示:

image

 5)通过查看节点运行记录,可以清楚的看到作业1_task运行结束之后,作业2_task和学生信息同步task同时开跑。

image

4、创建DAG-串行1

 如下的任务流学生信息同步task依赖作业1_task和作业2_task,1_task和作业2_task都运行成功之后再运行学生信息同步task,那么1_task和作业2_task谁先运行呢?继续往下看

1dcad417-595a-4ebb-b469-55bf23d15926

image

 通过节点运行日志我们可以看到作业1_task先执行,然后作业2_task再执行,等两个task都执行完毕之后再继续执行学生信息同步task。

c4779350-be54-41c4-9c17-5b5e92f7094d

5、创建DAG-串行2

作业1_task下游分别有作业2_task和学生信息同步task,如下图所示

image

image

 从运行记录可以清楚的看到它们的执行顺序:作业1_task执行完毕之后执行作业2_task,最后执行学生信息同步task。

57a9bfdb-b200-4d31-a95f-0ef850c0c58e

6、DAG依赖

除了任务之间可以依赖,DAG任务流之间也可以设置上下游依赖,这里不过多介绍,后续小伙们可以自行探索。

image

image