惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

酷 壳 – CoolShell
酷 壳 – CoolShell
aimingoo的专栏
aimingoo的专栏
P
Proofpoint News Feed
宝玉的分享
宝玉的分享
MyScale Blog
MyScale Blog
The GitHub Blog
The GitHub Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
月光博客
月光博客
量子位
博客园 - 司徒正美
V
V2EX
I
InfoQ
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Vercel News
Vercel News
H
Hackread – Cybersecurity News, Data Breaches, AI and More
美团技术团队
N
Netflix TechBlog - Medium
L
LangChain Blog
IT之家
IT之家
Blog — PlanetScale
Blog — PlanetScale
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Stack Overflow Blog
Stack Overflow Blog
A
About on SuperTechFans
Microsoft Azure Blog
Microsoft Azure Blog

博客园 - 慕容尘轩

kettle调度系统- XKG-PDI轻松配置对外服务接口 kettle调度系统- XKG-PDI flink cdc kettle调度系统- XKG-PDI添加多数据库支持,mop,达梦,金仓走起 kettle调度系统- XKG-PDI拖拉拽轻松实现DAG,强大到飞起 kettle调度系统- XKG-PDI依赖/依赖链调度使用说明 kettle调度系统- XKG集成Webkettle,kettle脚本在线设计&测试&部署一站式解决方案,全新升级 DataX从入门到精通 第4课 ETL之DataX datax-web单表数据全量+增量同步 DataX从入门到精通 第3课 ETL之DataX datax-web单表数据同步 DataX从入门到精通 第1课 ETL之DataX 安装DataX kettle插件-excel插件,kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第119课 ETL之kettle kettle读取excel动态表头,kettle根据列名读取excel kettle从入门到精通 第118课 ETL之kettle,kettle job串行、job并行、 job依赖使用教程 kettle从入门到精通 第117课 ETL之kettle,kettle调用his接口,入参和响应数据均为xml结构 kettle从入门到精通 第116课 ETL之kettle,线上排雷,踩坑复盘 kettle调度系统- XKG集成WebSpoon9.4,kettle脚本在线设计&测试&部署一站式解决方案,持续赋能企业 kettle从入门到精通 第115课 ETL之webspoon 全局异常/错误捕获-续 kettle从入门到精通 第114课 ETL之webspoon 全局异常/错误捕获 kettle从入门到精通 第113课 ETL之webspoon 多行转一行或者多行数据合并为一行 kettle调度系统- 脚本执行错误信息邮件预警,及时发现&解决问题,捍卫生产环境 kettle从入门到精通 第112课 ETL之kettle 数据库资源库,受不了了,逼我出大招 kettle调度系统- kettle数据库资源库,团队协作问题轻松拿捏 kettle调度系统- kettle文件资源库,轻松解决团队协作和脚本版本管理问题 kettle调度系统-1分钟提供接口供外部系统调用,配置简单,快速高效 kettle从入门到精通 第111课 ETL之kettle webspoon7的docker部署详细教程 kettle调度系统-carte集群服务调度,carte集群+算子级集群双集群,涡轮增压,性能拉满,赋能大中型企业 kettle调度系统-carte单体服务调度,支持多kettle版本部署,任务触发毫秒级响应0延迟 kettle从入门到精通 第110课 ETL之kettle webspoon的两种部署方式docker+tomcat使用教程 kettle调度系统-kettle spoon方式调度,强大兼容性,支持各种版本kettle kettle调度系统-kettle嵌入集成方式调度,稳如磐石,一分钟完成任务调度配置 kettle从入门到精通 第109课 ETL之kettle, kettle docker 镜像制作&容器部署
DataX从入门到精通 第2课 ETL之DataX 安装datax-web
慕容尘轩 · 2026-06-05 · via 博客园 - 慕容尘轩

1、下载源码

datax-web地址为https://github.com/WeiYe-Jing/datax-web

2、编译源码

使用maven 进行编译,进行到datax-web所在目录,然后执行如下命令打包

 编译成功之后产物有:datax-admin(控台)、datax-executor(执行器)、datax-web(完整部署包)

9a382267-327b-4c93-b798-9c6adbc387e9

 3、部署服务

1)使用datax-web-2.1.2.tar.gz进行部署,解压此文件。

e78c3af7-2185-4686-91ae-6f051f5d417d

2)准备一个mysql数据库,schema为datax-web

3)执行datax_web.sql中的脚本,文件位置为bin/db/datax_web.sql

4)编辑application.yml中的数据库信息,日志地址等

1eb56f81-925d-48ef-9d8f-79f14f498cfa

 5)shell启动datax-admin服务

经测试使用install.sh、start.sh、start-all.sh文件只适合在linux环境,无法在windows和mac直接使用,所以舍弃这种方法。

6)改造datax-admin、datax-executor为springboot项目

改造步骤省略,不懂技术的朋友可以使用ai工具来解决,如trae。

7)启动datax-admin服务

启动命令为

nohup java -Xms1g -Xmx1g -jar datax-admin-2.1.2.jar > /dev/null 2>&1 &

4557c612-02e4-496d-8f6f-ee788803d5fa

通过 http://localhost:8080/index.html 访问,默认账号 admin / 123456

4348f6f7-924d-41d3-87a7-e373d729cdd7

 8)启动datax-executor服务

配置applicaiton.yml文件,这里重点配置addresses(多个admin逗号分隔)、jsonpath(datax任务的路径)、pypath(datax的可执行python路径)

181398b2-7adf-478a-ab3a-ad501a55d8ce

启动命令

nohup java -Xms1g -Xmx1g -jar datax-executor-2.1.2.jar > /dev/null 2>&1 &

af72d353-ae1e-4583-b3de-4c72c50d243f

 登录到datax-admin系统,可以看到datax执行器已经注册成功,如果有多个执行器注册的话,这里会有多条数据。

776a3a92-09e9-4439-bd4a-9f846d864139

相关资源我已经放到百度盘,有需要的关注加v入群获取。

1abe57d8-b920-49a4-acbc-56c6a302139f

下一节课我们将会通过一个例子来讲解如何同步数据,后续将会讲解datax的原生插件以及自研插件,敬请期待。

image