惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
F
Fortinet All Blogs
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
S
Secure Thoughts
SecWiki News
SecWiki News
Hacker News: Ask HN
Hacker News: Ask HN
Google DeepMind News
Google DeepMind News
N
Netflix TechBlog - Medium
Recorded Future
Recorded Future
Hacker News - Newest:
Hacker News - Newest: "LLM"
Webroot Blog
Webroot Blog
Cloudbric
Cloudbric
博客园 - 司徒正美
The Cloudflare Blog
W
WeLiveSecurity
T
Tailwind CSS Blog
V2EX - 技术
V2EX - 技术
H
Heimdal Security Blog
Jina AI
Jina AI
MyScale Blog
MyScale Blog
S
SegmentFault 最新的问题
Apple Machine Learning Research
Apple Machine Learning Research
雷峰网
雷峰网
罗磊的独立博客
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Project Zero
Project Zero
C
CXSECURITY Database RSS Feed - CXSecurity.com
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
博客园 - 【当耐特】
Forbes - Security
Forbes - Security
Last Week in AI
Last Week in AI
G
GRAHAM CLULEY
C
Check Point Blog
P
Proofpoint News Feed
L
LINUX DO - 最新话题
博客园 - Franky
P
Proofpoint News Feed
T
Tor Project blog
S
Security @ Cisco Blogs
Hugging Face - Blog
Hugging Face - Blog
阮一峰的网络日志
阮一峰的网络日志
J
Java Code Geeks
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
宝玉的分享
宝玉的分享
C
Cyber Attacks, Cyber Crime and Cyber Security
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
O
OpenAI News
小众软件
小众软件
云风的 BLOG
云风的 BLOG
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报

博客园 - 慕容尘轩

DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第2课 ETL之DataX 安装datax-web DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步
慕容尘轩 · 2026-06-17 · via 博客园 - 慕容尘轩

1、任务构建

1)构建reader

这里的where条件中添加了id> ${startId} and id<= ${endId},其中startId和endId 是两个参数

e06b5e41-05c5-4937-8886-04c5adc71d1a

 2)构建writer

80ea6746-1baf-4e8e-89fe-7d5101df843d

writeMode

模式说明行为
insert 默认模式,执行普通的 INSERT INTO 语句 遇到主键或唯一键冲突,任务报错并记录脏数据
replace 执行 REPLACE INTO 语句 遇到冲突时,先删除旧行,再插入新行。需要表的 INSERT 和 DELETE 权限
update 执行 INSERT INTO ... ON DUPLICATE KEY UPDATE 语句 遇到冲突时,更新旧行的非主键字段

 3)字段映射

 字段映射这里原本是不支持手动调整映射关系的,我这里进行了ui调整。

79af90c3-457b-4fdf-b969-a656208836f7

 4)构建

构建的任务名称默认是源端的数据表名称,我这里添加了任务名称,可以进行自定义任务名称。

27092376-8833-422f-86ee-2d84171ef2e9

 2、任务管理

1)任务列表

任务构建成功后,可以在任务管理列表看到添加的任务。

e890c90e-c828-4f76-a9da-6d70fe62ce71

 2)编辑任务

编辑任务

辅助参数我们这里选择主键自增,通过id字段进行增量抽取数据。

增量逐渐开始ID,这里设置为0。

ID增量参数,-DstartId='%s' -DendId='%s',这里的%s是占位符。

d9cf70ed-6953-45f2-a09c-83fe5f7c1a6a

 3)执行任务

第一次执行

c635f246-ec27-447c-be27-cf5a1ad06f09

执行之后会更新增量主键开始ID

fb19aaf9-b129-4d1d-87b0-0c1e3c2656ad

第二次执行

0c5e4ca7-5084-43cf-a582-02dbf5f3f87b

 test2的student表通过全量+增量方式成功同步数据。

896ff528-8f45-4232-8045-51ffb4c5ded0

 下一节课将讲解多表join 按照时间增量方式同步数据。