惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

aimingoo的专栏
aimingoo的专栏
Jina AI
Jina AI
WordPress大学
WordPress大学
Recent Announcements
Recent Announcements
G
Google Developers Blog
I
InfoQ
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Google DeepMind News
Google DeepMind News
P
Proofpoint News Feed
MyScale Blog
MyScale Blog
M
MIT News - Artificial intelligence
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
C
Check Point Blog
J
Java Code Geeks
T
Tailwind CSS Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Microsoft Security Blog
Microsoft Security Blog
MongoDB | Blog
MongoDB | Blog
V
Visual Studio Blog
人人都是产品经理
人人都是产品经理
量子位
A
About on SuperTechFans
D
DataBreaches.Net
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知

博客园 - 慕容尘轩

kettle调度系统- XKG-PDI轻松配置对外服务接口 kettle调度系统- XKG-PDI flink cdc kettle调度系统- XKG-PDI添加多数据库支持,mop,达梦,金仓走起 kettle调度系统- XKG-PDI拖拉拽轻松实现DAG,强大到飞起 kettle调度系统- XKG-PDI依赖/依赖链调度使用说明 kettle调度系统- XKG集成Webkettle,kettle脚本在线设计&测试&部署一站式解决方案,全新升级 DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle调度系统-carte集群服务调度,carte集群+算子级集群双...
慕容尘轩 · 2025-12-02 · via 博客园 - 慕容尘轩

1、资源库创建

1)这里我使用文件资源库进行演示。点击新增按钮添加文件资源库。

ab9189be-1992-4747-bb4f-905ace3e84be

2)文件资源库列表

文件上传:可以将脚本打包为zip文件进行上传。

文件下载:可以将脚本文件打包进行下载。

2114362c-91ce-4a59-bfea-cae419fdef17

 2、xkg-pdi服务器脚本维护

1)作业管理-》作业转换,可以单个或者批量上传脚本。

2b4965dd-b572-4dcb-8c68-bc1479b9f898

 2)具体作业或者转换上右键操作可以对单个脚本进行操作。

a749d055-49ae-499d-84bb-9b5e604d46c1

3、服务器管理

1)点击新增按钮创建centos1服务器。

ac065da4-0ffd-4bac-bd1e-97357356bd3a

 2)用同样的方法创建centos2服务器。

a2d77ab1-bd3a-498f-8d5e-733e191aaab9

4、 carte配置

在centos1和centos2服务器上,我们分别部署两个carte服务。carte服务可以通过xkg-pdi服务进行部署,也可以手动部署,在xkg-pdi平台维护进来即可。

具体部署可以参考文章【kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟

ec191b22-ebbe-4662-8da8-110c94df5a06

 5、脚本下发

1)脚本下发的意思就是将xkg-pdi 资源库中的脚本同步到所有的carte服务中。

如下配置表示文件资源库中的脚本同步到carte-8080服务的/opt/repo目录中。

aa93bc6a-68b2-4fc0-a248-98d2b02f8c94

 2)脚本下发创建之后可以单个或者批量下发。

8ee96f5e-a427-4051-8495-0a1f14637a4b

 6、carte组配置

1)carte组的作用主要是搭建carte服务集群,确保carte服务高可用。carte服务组内carte心跳检测出现问题后该carte自动不可用,该carte重启之后变为可用。

c5b7c7f4-f95d-492b-b60e-42295f36f324

 2)调度方式支持轮询、随机、哈希、空闲方式,后续根据需求可加入更多方式。

 7、任务配置

1)一切准备就绪之后,我们开始配置调度任务。

756a60a516834832b72a168a3f266a7f

 2)点击按钮调度一次进行测试

978ceb37-fa18-42da-9e8c-1d4de28f91e1

 第一次调度,任务在carte-8080服务上执行

47fe12b8-3b59-4f7b-aca9-8fd71c42739c

 第二次调度,任务在carte-8081服务上执行。

a3bbb997-7764-47cf-a38c-31128383c73b

 8、作业监控

作业监控,可以查看job或者trans的运行记录和日志信息。

87d95f83-cb6a-49dc-8f3b-6946b79ac211

 9、平台监控

平台监控这里展示job或者trans的整体运行情况,如carte节点数,运行节点数,总任务数,作业任务数量,转换任务数等信息。

b533e650-13cc-4b86-83ee-36da2058b453

 10、carte双集群

carte的双集群拓扑结构如下图所示

e8cccd39-e40e-4e09-ab1c-c9c3b91ba361

image