惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

A
About on SuperTechFans
WordPress大学
WordPress大学
雷峰网
雷峰网
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Latest news
Latest news
Spread Privacy
Spread Privacy
T
Threat Research - Cisco Blogs
T
Tor Project blog
博客园 - Franky
U
Unit 42
K
Kaspersky official blog
博客园_首页
G
GRAHAM CLULEY
美团技术团队
I
Intezer
T
The Exploit Database - CXSecurity.com
P
Proofpoint News Feed
Engineering at Meta
Engineering at Meta
The Hacker News
The Hacker News
B
Blog
云风的 BLOG
云风的 BLOG
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
S
Securelist
Last Week in AI
Last Week in AI
F
Fortinet All Blogs
N
Netflix TechBlog - Medium
M
MIT News - Artificial intelligence
Martin Fowler
Martin Fowler
Schneier on Security
Schneier on Security
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
S
SegmentFault 最新的问题
W
WeLiveSecurity
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
J
Java Code Geeks
Cyberwarzone
Cyberwarzone
爱范儿
爱范儿
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
The GitHub Blog
The GitHub Blog
S
Security @ Cisco Blogs
GbyAI
GbyAI
P
Proofpoint News Feed
D
Docker
D
DataBreaches.Net
aimingoo的专栏
aimingoo的专栏
博客园 - 司徒正美
T
Tenable Blog
V2EX - 技术
V2EX - 技术
The Register - Security
The Register - Security
V
Vulnerabilities – Threatpost
B
Blog RSS Feed

MySQL

请教大家一个关于 mysql 服务崩溃的问题 - V2EX 数据库连接数超了如何解决 - V2EX count 的语句优化问题 - V2EX 连接 MySQL 很慢的问题 - V2EX MYSQL UPDATE 在很短的时间内更新相同的语句,就会有告警,导至事务失败,有没有人遇到这问题? MySQL 磁盘读取飙升,导致阿里云服务器卡死 - V2EX 求 Macos 下面 homebrew 安装 mysql 到指定目录的方法 使用 EXISTS 优化 IN 子查询 - V2EX 什么时候可以将 mysql 默认隔离机制改为读已提交 跨平台的 MySQL Parser - V2EX MySQL 大表排序有什么好的方案?只能上 Mongo? Mysql 无法修改自增主键的 AUTO_INCREMENT 值 升级服务器后, mysql 性能反而更慢了,求排查思路 《高性能 MySQL》第三版:是否已经过时? 坑爹的字符集问题:踩到了 MySQL 的 bug 两个人的数据开发团队,被要求从零开始治理企业数据 MySQL 8.4 LTS 与 Metabase 奇怪兼容性问题:降级到 8.0.4 后问题解决 (1Panel and BT Panel 复现) - V2EX 公司内网,怎么搭建主备 mysql,高可用。故障自动切。 不买云服务 mysql 自增 ID 突然变为 int 最大值问题 覆盖还原 data 文件夹后, mysql 无法启动了 - V2EX 生产力工具 - V2EX 各位大佬,有个奇葩的技术问题 - V2EX 关于 mysql trx_id 的疑惑 发帖一问 sql 性能讨论 - V2EX 数据库高频更新问题 谁遇到过没 有啥好的解决方案部 - V2EX 有用过 SyncNavigator 或者类似的简单数据库同步软件吗, - V2EX mysql 遇到最愚蠢的查询性能问题,求解决 - V2EX 有什么优雅的 mysql 增加字段名的方法呢? - V2EX 各位 Mysql 大佬,问一个 8.0 版本 json 的问题 - V2EX mysql online DDL 时间很长,咋整,数据量不多,就 30W - V2EX 数据库中 select for update 和 version 乐观锁各自的适用场景是啥? - V2EX mysql 宿主机没有办法访问的问题 - V2EX mysql 求助 - V2EX MySQL 8.4 MGR 可以上生产吗? - V2EX mysql 亿级数据,数据筛选和导入导出 - V2EX 大佬们你们 Mysql 的数据库名称怎么分割的? - V2EX 新项目准备启动, MYSQL 选择 8.4.2 这个版本,有没什么坑? - V2EX mysql 一年新增 800 多万条数据,如果是单表的话请问服务器能支撑吗?各位有什么好的办法吗? - V2EX 新手求个远程数据库稳妥的解决方案~或者实时备份数据库的方法 - V2EX 铁子们,求助 docker 中 MySQL 导入数据库速度问题 - V2EX 大家的 SQL 一般怎么管理? - V2EX 询问一个慢查询的问题 - V2EX 现在用 mysql 的多 还是 mariadb 的多 - V2EX 关于 MySQL 查询咨询 - V2EX 请教个问题,如何快速的删除 mysql 的数据 求助:Mysql 数据文件夹如何被新安装的 Mysql 读取 - V2EX mysql 有没有什么中间件能模拟 mongodb? - V2EX 请问 debian12 mysql5.7 可以通过添加 apt 源安装吗?
mysql 数据增量同步 - V2EX
sxinsuoyu20 · 2024-12-06 · via MySQL

这是一个创建于 556 天前的主题,其中的信息可能已经有所发展或是发生改变。

一个内网服务器,一个外网服务器(数据定时采集服务器),现在想把外网服务器的增量数据同步到内网服务器(初始数据和表结构可以导成 sql 到目标库执行),表结构完全相同,可以有一定的延迟,各位 V 友们有什么好的方案和工具吗?原先没研究过,最好有具体的实现方案帖子、视频、或者开源项目,一站式部署,学习成本比较低,免费拿来就可以用最好了!

  • MySQL
  • 同步
  • 方案

    23 条回复    2024-12-07 07:46:42 +08:00

    iyiluo

    3

    iyiluo      2024 年 12 月 6 日

    直接弄个主从,如何开启 mysql 主从,网上一大堆

    junphe

    5

    junphe      2024 年 12 月 6 日

    楼上都有提到对实时有要求 Mysql 主从就可以了

    hetal

    9

    hetal      2024 年 12 月 6 日

    percona toolkit

    realpg

    10

    realpg      2024 年 12 月 6 日

    innodb cluster
    但是坑不少 你得踩踩

    Actrace

    11

    Actrace      2024 年 12 月 6 日

    @sxinsuoyu20 双主,或者多主,可以用用 MariaDB 的 Galera 。限制是只能 innoDB 引擎。

    junphe

    12

    junphe      2024 年 12 月 6 日

    @sxinsuoyu20 主从是实时增量,数据结构都可以同步的,从库必须可以链接到主服务,最好给单独开启账号配置服务,你可以在网上搜索相关的资料比较多,只要是数据的配置就可以了

    XyIsMy

    13

    XyIsMy      2024 年 12 月 6 日

    同个类型数据库,搭建主从或双主就可以了

    bootvue

    14

    bootvue      2024 年 12 月 6 日

    cloudcanal

    Karte

    15

    Karte      2024 年 12 月 6 日

    @junphe 方案是可以, 但是主从会存在对主库操作延迟. 再加上网络问题等, 可能会影响到主库的正常处理. 建议还是使用类似 CDC 的实现 (Flink, 部署麻烦), DataX.

    devtk

    16

    devtk      2024 年 12 月 6 日

    canal 或者 flink-cdc

    junphe

    17

    junphe      2024 年 12 月 6 日

    @Karte 主从实际是对主 Mysql 的 Binlog 读取和传输,受服务器 IO 和网络影响!但是对主库操作延迟,未仔细研究,我觉得应该影响不大。之前有同步过 aliyun 的 mysql 到本地机房,运行良好。如本地断网,等网通后会自动同步,做好延迟监控!

    miniliuke

    18

    miniliuke      2024 年 12 月 6 日

    debezium+kafaka 或者 flink cdc

    qW7bo2FbzbC0

    19

    qW7bo2FbzbC0      2024 年 12 月 6 日

    @fool1024

    请问这两个在数据同步上区别是什么?(看起来 dataX 抽象程度更高,在 MySQL 同步上 dataX 是依赖于 canal 或者内置了 canal 还是自己重新实现了同样的逻辑?)
    仅针对于 mysql 数据增量同步这两个更推荐哪个?

    npe

    21

    npe      2024 年 12 月 6 日

    DMS

    xyooyx

    23

    xyooyx      2024 年 12 月 7 日   ❤️ 1

    @qW7bo2FbzbC0
    ## 同步事件驱动源
    dataX:一般由指令触发
    canal:由 binlog 订阅事件驱动

    ## 同步边界
    dataX:需要在作业中定义
    canal:由 binlog 控制同步边界

    所以我理解初次迁移适合用 dataX ,迁移后如果需要持续增量同步则用 canal