惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

GbyAI
GbyAI
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
A
About on SuperTechFans
The Last Watchdog
The Last Watchdog
A
Arctic Wolf
S
Schneier on Security
Cisco Talos Blog
Cisco Talos Blog
K
Kaspersky official blog
Spread Privacy
Spread Privacy
The Hacker News
The Hacker News
P
Proofpoint News Feed
Attack and Defense Labs
Attack and Defense Labs
NISL@THU
NISL@THU
AWS News Blog
AWS News Blog
Schneier on Security
Schneier on Security
TaoSecurity Blog
TaoSecurity Blog
H
Hacker News: Front Page
L
LangChain Blog
Y
Y Combinator Blog
T
Tenable Blog
Microsoft Security Blog
Microsoft Security Blog
L
Lohrmann on Cybersecurity
量子位
N
News and Events Feed by Topic
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
The GitHub Blog
The GitHub Blog
云风的 BLOG
云风的 BLOG
W
WeLiveSecurity
Martin Fowler
Martin Fowler
Cloudbric
Cloudbric
S
SegmentFault 最新的问题
Project Zero
Project Zero
D
Darknet – Hacking Tools, Hacker News & Cyber Security
博客园 - 叶小钗
V
Vulnerabilities – Threatpost
小众软件
小众软件
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
腾讯CDC
博客园 - 聂微东
F
Full Disclosure
WordPress大学
WordPress大学
PCI Perspectives
PCI Perspectives
P
Privacy International News Feed
M
MIT News - Artificial intelligence
Forbes - Security
Forbes - Security
Blog — PlanetScale
Blog — PlanetScale
T
The Blog of Author Tim Ferriss
Webroot Blog
Webroot Blog
S
Security @ Cisco Blogs
Last Week in AI
Last Week in AI

博客园 - 慕容尘轩

DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle
慕容尘轩 · 2025-11-03 · via 博客园 - 慕容尘轩

场景:

昨天发布了xxkg-pdi 金刚调度系统,kettler小伙伴们火速使用了起来,有不少小伙伴催我操作教程,今天下班回家饭都没来的吃,开始搞教程。今天咱们一起学***kg-pdi 调度系统如何使用spoon方式进行调度,这里说的spoon方式调度,也就是说利用kettle自带的pan和kitchen两个工具进行调度,这两个工作底层调用的还是spoon工具。废话少说,开干!!!!!!

不明白如何部署xxkg-pdi的小伙伴,建议学习上一篇文章。

1、将data-integration(具体kettle版本根据自己要求,我这里使用的是9.x)放到xxkg-pdi同级目录

71cc2c4a-cd13-44a3-ae2b-5d1c008393de

 2、启动服务

启动命令 java -jar etl_scheduler_platform-1.0.0.jar

image

2、创建作业

1)执行方式选择本地

2)调用方式选择spoon,此种方式会调用应用程序同级目录下面的data-integration

6bc9bf5b-bea3-40a5-a47d-b744c90d2e2b

 3、点击调度一次或者启动按钮触发作业。

88d8cf24-6884-4f36-b460-9c1245799915

 4、作业监控

1)点击作业监控按钮可以看到此作业已经调度成功。

f01de2a9-e0eb-45ad-ac2f-3d8857dddec4

 2)点击日志按钮可以查看具体的执行日志信息。

dab7beca-0169-406d-9f20-a3ff13100fc9

 5、sqlite+kettle 初探

有vip小伙伴咨询sqlite数据库是否可以作为kettle的资源库,沟通之后确定是两个问题a、sqlite作为数据库资源仓库 b、读取sqlite数据库表

15ee5ee5-b667-4357-9f97-fdf4546d6e1a

a、sqlite作为数据库资源仓库

使用kettle cs版本测试不支持sqlite作为数据库资源仓库,xxkg-pdi同样也提示不支持sqlite作为资源库。

1234f9330220ef290fee097c3da53a8c

 b、读取sqlite数据库表,这里演示从sqlite表t1中读取数据

1)创建sqlite数据库连接

连接类型:Generic database

自定义连接url:填写sqlite数据库文件的全路径

自定义驱动:org.sqlite.JDBC

7b18909f-2924-4ea6-a2ed-a3ff55871d18

2)使用kettle 创建脚本

db1c0585-df18-4fa6-b7be-670db876cd8d

 3)使用xxkg-pdi调度

将本地脚本上车到xxkg-pdi的文件资源仓库中

f3b23e24-fc2e-4610-a62a-4a5a2f2fcf05

 4)配置作业调度,这里配置调度方式为java

653f8e81-10d8-45a6-a198-d25d1c306d6c

 5)查看作业监控日志,展示调用成功。

cb55f184-eef4-44f4-bc17-e4d67f09e662

 详细日志

9704235c-ba22-43f9-8c4b-1d8f8856dff4

 6)配置作业调度,这里配置调度方式为spoon方式

7531b61a-b7b8-48b8-b14c-f93c5fb332b8

  7)查看作业监控日志,同样也是展示调用成功。

15a71a98-100f-4fe6-aaec-38b0d8dd911e

 详细日志

9de4973e-02e3-4adb-a41e-dd21c86dd225

写在最后 

夜深人静,娃已入睡,今天先写到这里吧,后续咱们一起学习kettle carte集群调度,高可用,高并非,高性能,敬请期待

image