惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园_首页
量子位
D
DataBreaches.Net
博客园 - 司徒正美
J
Java Code Geeks
博客园 - 【当耐特】
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
aimingoo的专栏
aimingoo的专栏
B
Blog
The Cloudflare Blog
D
Docker
I
InfoQ
爱范儿
爱范儿
MongoDB | Blog
MongoDB | Blog
腾讯CDC
月光博客
月光博客
Hugging Face - Blog
Hugging Face - Blog
Microsoft Azure Blog
Microsoft Azure Blog
Vercel News
Vercel News
阮一峰的网络日志
阮一峰的网络日志
小众软件
小众软件
S
SegmentFault 最新的问题
GbyAI
GbyAI
有赞技术团队
有赞技术团队

博客园 - 慕容尘轩

kettle调度系统- XKG-PDI轻松配置对外服务接口 kettle调度系统- XKG-PDI flink cdc kettle调度系统- XKG-PDI添加多数据库支持,mop,达梦,金仓走起 kettle调度系统- XKG-PDI拖拉拽轻松实现DAG,强大到飞起 kettle调度系统- XKG-PDI依赖/依赖链调度使用说明 DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle调度系统- XKG集成Webkettle,kettle脚本在线设计&测试...
慕容尘轩 · 2026-08-24 · via 博客园 - 慕容尘轩

XKG-PDI闭关许久,终于迎来了功能、性能的全新升级,进行介绍的重点是XKG-PDI集成了自演的webkettle平台,使用起来高效,协同、丝滑。废话少说,上教程。

1、创建工作空间

1)新增工作空间

操作路径:系统管理-工作空间管理

空间名称:自定义

空间编码:自定义

空间负责人:可以指定系统内用户

状态:启用/禁用

空间并发上限:空间内同时执行任务数上限,留空不限制

跨空间依赖:允许的话不同空间的转换后者job文件可以互相引用。

c2f00e9b-b298-4e6b-a377-016e678ffe9b

 2)工作空间授权

给工作空间内添加用户后,该用户则拥有该空间的权限,后续可以进行在线创建trans文件、运行、发布等操作。

979ed484-4125-4e70-93b2-9853f1a28931

 2、创建资源库

这里为了方便演示,创建文件资源库,如下图所示。

13f43743-7f5c-43c5-9b82-1f5ab340a107

3、创建数据源

 xkg内部的数据源是公共模块,trans文件或者元数据采集等用到的数据源都在数据集成-数据源管理这里操作。

如果后续要操进行元数据采集的话,需要设置定时采集和采集周期参数。

c04ca1a8-91e8-45c6-9597-8f1d0694fc57

3、在线设计

1)操作路径:数据开发-在线设计,点击新建设计按钮开始在线设计trans

aadb9aae-8493-4078-86e6-82df81ff467b

 2)设计转换

本次转换用到了表输入、python代码(自研插件)、写日志、字段选择、表输出步骤。

e253ceda-43b7-42ce-8bab-a5e16474c45b

3)表输入编辑

选择数据库连接(前面数据源管理模块创建的数据源),输入查询sql,如下图所示:

7c086fe3-99d9-4464-9af6-a3c51eda8f93

 4)python代码编辑

这里使用python代码步骤只添加了的tips字段,python代码插件支持任何python操作,支持python2和python3,强大到无敌。

c1116670-14aa-4780-a625-463525bd3aa2

5)字段选择(操作比较简单,忽略)

6)表输出编辑

选择数据库连接和目标表,设置数据库字段等信息即可。很容易操作,不熟悉的可以翻我前面的文章介绍。

880a350d-0dbc-4d82-9206-7b2bf2eda057

 7)保存

点击保存按钮将设计文件进行保存。

8)运行

点击运行按钮进行测试trans文件,可以根据打印日志进行调试或者调优,如下图所示:

088b5b0e-4e23-41d3-a1f2-0f58572a76f4

 9)发布

发布操作是将设计的trans文件发布到资源库,方便后续设置调度操作。

2464d8d9-464c-4f47-a251-f270c178b7cb 

 点击确认运行,选择目标资源库,然后点击发布按钮进行发布。

e3791807-eca1-4510-a299-44d5904ed9d5

  发布结果,发布成功之后可以直接创建调度任务或者继续设计trans文件。

2d7376dd-73d8-46af-afe0-127075d3a90a

4、作业转换管理

操作路径:数据开发-作业转换

输入关键字搜索trans文件,右键trans然后点击在线设计器打开可以使用webkettle继续编辑trans文件。

目前支持表单编辑、webspoon编辑(kettle9.5)、在线设计器打开三种编辑方式。

f0a05d84-e5de-40e2-82e7-805d765005f5

 5、作业调度

操作路径:数据开发-作业调度

1)分组管理

点击新增新建任务分组,如下图所示:

741cc11f-65d3-4f90-9bb5-4db020d87513

 2)作业调度

点击新增按钮创建调度任务,如下图所示:

所属空间:这里只会展示自己有权限的空间

资源库:只会展示自己空间内的文件或者数据库资源库

任务路径:输入关键字字搜索trans文件

分组名称:选择前面设置的分组

告警渠道:渠道目前支持钉钉、企业微信、飞书三种方式,这里先忽略,后续自己可以摸索进行配置。

5c736734-f5c1-4ed9-bf55-732875442000

9d1b9e32-976e-49df-aa65-2e33e0d3d3f1

 执行方式配置:

执行方式:支持本地和carte服务

调用方式:本地情况下支持java和spoon两种方式,这选择java进行调度,也就是xkg集成kettle核心包进行调度。

0a16b384-5f8d-46ab-8584-170bc097de0d

 调度策略配置:

调度策略支持Cron方式和轮询两种方式,这了配置为Cron方式,下面的一些参数比较简单,后续可以自行配置。

623ca75a-4fc0-4df2-a8ca-2b7cf2a4aeed

参数告警配置:

可以设置启动参数、超市时间、负责人、描述等信息,如下图所示:

191d4796-afa6-403f-a36a-a59176957a1b

 调度一次:

勾选任务点击调度一次,或者点击任务后面的调度一次icon都可以触发调度任务,如下图所示:

fdd6d116-3947-4989-ad45-b6b6cc50a6f4

 3)调度日志

操作路径:调度中心-作业监控

这里支持简单的任务记录、DAG运行、批次链路等三种日志查看,任务名称绿色表示调度成功,红色表示调度失败,如下图所示

7dfa4c43-8c57-4b58-aac5-1e4283a97851

 点击日志icon查询调度详情,如下图所示:

1669205a-dc12-4f2c-8adc-9f77b625df29

 4)本地spoon方式调度

kettle版本维护,可以新增不同版本的kettle,操作路径数据开发-kettle版本维护,如下图所示:

35c55350-db80-431c-ac8c-346c887ef0ac

 这里新增了kettle9.4和kettle9.5两个版本。

a9e79ae0-c786-45e8-985e-54e2c984fbc1

 编辑任务将调度方式调整为spoon,然后重新调度任务。

89bc2731-82a6-4f05-8eb0-0bda80393174

 spoon调度日志,依旧调度成功。

1006ed9d-c9bd-4378-b08b-a082a27d07ba

 后续我们将继续探索XKG-PDI其他的一些功能,如DAG调度,依赖链(类似datax中的依赖)等。

欢迎小伙伴们使用XKG-PDI。

image