惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

C
Check Point Blog
罗磊的独立博客
量子位
Microsoft Azure Blog
Microsoft Azure Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
J
Java Code Geeks
M
MIT News - Artificial intelligence
月光博客
月光博客
IT之家
IT之家
D
DataBreaches.Net
A
About on SuperTechFans
博客园 - 三生石上(FineUI控件)
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Last Week in AI
Last Week in AI
D
Docker
The GitHub Blog
The GitHub Blog
B
Blog
V
Visual Studio Blog
博客园 - Franky
N
Netflix TechBlog - Medium
博客园 - 【当耐特】
Martin Fowler
Martin Fowler
博客园 - 聂微东
U
Unit 42

博客园 - 慕容尘轩

kettle调度系统- XKG-PDI轻松配置对外服务接口 kettle调度系统- XKG-PDI flink cdc kettle调度系统- XKG-PDI添加多数据库支持,mop,达梦,金仓走起 kettle调度系统- XKG-PDI拖拉拽轻松实现DAG,强大到飞起 kettle调度系统- XKG-PDI依赖/依赖链调度使用说明 kettle调度系统- XKG集成Webkettle,kettle脚本在线设计&测试&部署一站式解决方案,全新升级 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+...
慕容尘轩 · 2026-06-17 · via 博客园 - 慕容尘轩

1、任务构建

1)构建reader

这里的where条件中添加了id> ${startId} and id<= ${endId},其中startId和endId 是两个参数

e06b5e41-05c5-4937-8886-04c5adc71d1a

 2)构建writer

80ea6746-1baf-4e8e-89fe-7d5101df843d

writeMode

模式说明行为
insert 默认模式,执行普通的 INSERT INTO 语句 遇到主键或唯一键冲突,任务报错并记录脏数据
replace 执行 REPLACE INTO 语句 遇到冲突时,先删除旧行,再插入新行。需要表的 INSERT 和 DELETE 权限
update 执行 INSERT INTO ... ON DUPLICATE KEY UPDATE 语句 遇到冲突时,更新旧行的非主键字段

 3)字段映射

 字段映射这里原本是不支持手动调整映射关系的,我这里进行了ui调整。

79af90c3-457b-4fdf-b969-a656208836f7

 4)构建

构建的任务名称默认是源端的数据表名称,我这里添加了任务名称,可以进行自定义任务名称。

27092376-8833-422f-86ee-2d84171ef2e9

 2、任务管理

1)任务列表

任务构建成功后,可以在任务管理列表看到添加的任务。

e890c90e-c828-4f76-a9da-6d70fe62ce71

 2)编辑任务

编辑任务

辅助参数我们这里选择主键自增,通过id字段进行增量抽取数据。

增量逐渐开始ID,这里设置为0。

ID增量参数,-DstartId='%s' -DendId='%s',这里的%s是占位符。

d9cf70ed-6953-45f2-a09c-83fe5f7c1a6a

 3)执行任务

第一次执行

c635f246-ec27-447c-be27-cf5a1ad06f09

执行之后会更新增量主键开始ID

fb19aaf9-b129-4d1d-87b0-0c1e3c2656ad

第二次执行

0c5e4ca7-5084-43cf-a582-02dbf5f3f87b

 test2的student表通过全量+增量方式成功同步数据。

896ff528-8f45-4232-8045-51ffb4c5ded0

 下一节课将讲解多表join 按照时间增量方式同步数据。