惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
Spread Privacy
Spread Privacy
T
The Exploit Database - CXSecurity.com
Simon Willison's Weblog
Simon Willison's Weblog
P
Privacy & Cybersecurity Law Blog
L
LINUX DO - 热门话题
T
Threat Research - Cisco Blogs
T
Tenable Blog
TaoSecurity Blog
TaoSecurity Blog
Security Archives - TechRepublic
Security Archives - TechRepublic
AI
AI
P
Proofpoint News Feed
A
About on SuperTechFans
P
Privacy International News Feed
月光博客
月光博客
雷峰网
雷峰网
S
Secure Thoughts
博客园 - 叶小钗
博客园 - 聂微东
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Project Zero
Project Zero
The Cloudflare Blog
SecWiki News
SecWiki News
The Hacker News
The Hacker News
V
Vulnerabilities – Threatpost
罗磊的独立博客
A
Arctic Wolf
阮一峰的网络日志
阮一峰的网络日志
Know Your Adversary
Know Your Adversary
酷 壳 – CoolShell
酷 壳 – CoolShell
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
T
Troy Hunt's Blog
The Last Watchdog
The Last Watchdog
Schneier on Security
Schneier on Security
小众软件
小众软件
有赞技术团队
有赞技术团队
博客园 - 司徒正美
T
Tailwind CSS Blog
量子位
C
Cybersecurity and Infrastructure Security Agency CISA
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Hugging Face - Blog
Hugging Face - Blog
人人都是产品经理
人人都是产品经理
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
S
Security @ Cisco Blogs
大猫的无限游戏
大猫的无限游戏
S
SegmentFault 最新的问题
Apple Machine Learning Research
Apple Machine Learning Research
宝玉的分享
宝玉的分享
L
Lohrmann on Cybersecurity

博客园 - 慕容尘轩

DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业
慕容尘轩 · 2025-12-02 · via 博客园 - 慕容尘轩

1、资源库创建

1)这里我使用文件资源库进行演示。点击新增按钮添加文件资源库。

ab9189be-1992-4747-bb4f-905ace3e84be

2)文件资源库列表

文件上传:可以将脚本打包为zip文件进行上传。

文件下载:可以将脚本文件打包进行下载。

2114362c-91ce-4a59-bfea-cae419fdef17

 2、xkg-pdi服务器脚本维护

1)作业管理-》作业转换,可以单个或者批量上传脚本。

2b4965dd-b572-4dcb-8c68-bc1479b9f898

 2)具体作业或者转换上右键操作可以对单个脚本进行操作。

a749d055-49ae-499d-84bb-9b5e604d46c1

3、服务器管理

1)点击新增按钮创建centos1服务器。

ac065da4-0ffd-4bac-bd1e-97357356bd3a

 2)用同样的方法创建centos2服务器。

a2d77ab1-bd3a-498f-8d5e-733e191aaab9

4、 carte配置

在centos1和centos2服务器上,我们分别部署两个carte服务。carte服务可以通过xkg-pdi服务进行部署,也可以手动部署,在xkg-pdi平台维护进来即可。

具体部署可以参考文章【kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟

ec191b22-ebbe-4662-8da8-110c94df5a06

 5、脚本下发

1)脚本下发的意思就是将xkg-pdi 资源库中的脚本同步到所有的carte服务中。

如下配置表示文件资源库中的脚本同步到carte-8080服务的/opt/repo目录中。

aa93bc6a-68b2-4fc0-a248-98d2b02f8c94

 2)脚本下发创建之后可以单个或者批量下发。

8ee96f5e-a427-4051-8495-0a1f14637a4b

 6、carte组配置

1)carte组的作用主要是搭建carte服务集群,确保carte服务高可用。carte服务组内carte心跳检测出现问题后该carte自动不可用,该carte重启之后变为可用。

c5b7c7f4-f95d-492b-b60e-42295f36f324

 2)调度方式支持轮询、随机、哈希、空闲方式,后续根据需求可加入更多方式。

 7、任务配置

1)一切准备就绪之后,我们开始配置调度任务。

756a60a516834832b72a168a3f266a7f

 2)点击按钮调度一次进行测试

978ceb37-fa18-42da-9e8c-1d4de28f91e1

 第一次调度,任务在carte-8080服务上执行

47fe12b8-3b59-4f7b-aca9-8fd71c42739c

 第二次调度,任务在carte-8081服务上执行。

a3bbb997-7764-47cf-a38c-31128383c73b

 8、作业监控

作业监控,可以查看job或者trans的运行记录和日志信息。

87d95f83-cb6a-49dc-8f3b-6946b79ac211

 9、平台监控

平台监控这里展示job或者trans的整体运行情况,如carte节点数,运行节点数,总任务数,作业任务数量,转换任务数等信息。

b533e650-13cc-4b86-83ee-36da2058b453

 10、carte双集群

carte的双集群拓扑结构如下图所示

e8cccd39-e40e-4e09-ab1c-c9c3b91ba361

image