惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

D
DataBreaches.Net
IT之家
IT之家
博客园_首页
博客园 - 【当耐特】
V
V2EX
Apple Machine Learning Research
Apple Machine Learning Research
G
Google Developers Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Recent Announcements
Recent Announcements
F
Fortinet All Blogs
GbyAI
GbyAI
腾讯CDC
H
Hackread – Cybersecurity News, Data Breaches, AI and More
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
I
InfoQ
H
Help Net Security
T
Tailwind CSS Blog
B
Blog RSS Feed
Martin Fowler
Martin Fowler
人人都是产品经理
人人都是产品经理
The Cloudflare Blog
博客园 - 叶小钗
雷峰网
雷峰网
量子位

博客园 - 自由港

postgres 支持全文索引 查看 milvus 中的数据 查询数据库锁死情况 使用 keepalived 实现 tendis 高可用 部署tendis IDEA 运行 main 方法导致整个项目 install 自定义classloader hive 基础操作 在 服务器部署 seatunnel web服务 使用 seatunnel web 设计一个数据同步 如何 运行 seatunnel web 开发版 使用 seatunnel 实现数据同步 avro 数据入门 NIFI国际化 使用 NIFI读取EXCEL 数据到数据库 NIFI 使用HTTP 作为数据源接收数据 使用 NIFI监控数据库表 切换JDK NIFI实现配置分发
使用NIFI 同步数据库表
自由港 · 2025-11-07 · via 博客园 - 自由港

1.概述

我现在数据库发生变化后,希望实时同步到 另外的一个数据库库,当然能做数据库同步,也可以将数据同步到消息队列或其他的数据库进行备份。

2.实现过程

本次使用NIFI 组要使用了

  1. 数据源
  2. CaptureChangeMySQL
    这个可以监控mysql 的数据库变更,并将变更的数据往后传递
  3. ExecuteGroovyScript
    这个处理器组件的作用是,根据flowfile 的数据,构造SQL语句,给后续的节点使用
  4. PutSQL
    这个的作用就是执行前面节点提交的SQL语句

2.1 配置数据源

配置数据源
image
这里正常配置即可,配置连接,驱动名称,用户名密码,另外 mysql 的驱动可以拷贝到 nifi 的lib 目录,也可以直接配置路径,最好就是不要配置,直接将驱动拷贝到lib目录。

这里我们配置两个数据源,一个来源一个目标数据源。

2.2 配置CaptureChangeMySQL

image

配置数据节点,用户名密码等,数据库,需要同步的表等

2.3.配置ExecuteGroovyScript

这个的代码的作用是,将上游的JSON生成SQL语句

image

这里也可以将脚本保存成一个文件,这样方便后续使用

image

2.4 配置PUTSQL

这个组件的作用就是将上游的数据,执行到数据库中。

image

这里比较简单,只需要配置目标连接即可。