惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 叶小钗
S
Security @ Cisco Blogs
月光博客
月光博客
V
Vulnerabilities – Threatpost
The Hacker News
The Hacker News
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Cisco Talos Blog
Cisco Talos Blog
J
Java Code Geeks
Scott Helme
Scott Helme
S
Schneier on Security
腾讯CDC
博客园 - 司徒正美
L
Lohrmann on Cybersecurity
Latest news
Latest news
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
有赞技术团队
有赞技术团队
AWS News Blog
AWS News Blog
V
Visual Studio Blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Hugging Face - Blog
Hugging Face - Blog
爱范儿
爱范儿
小众软件
小众软件
博客园 - Franky
Attack and Defense Labs
Attack and Defense Labs
美团技术团队
IT之家
IT之家
TaoSecurity Blog
TaoSecurity Blog
SecWiki News
SecWiki News
P
Proofpoint News Feed
阮一峰的网络日志
阮一峰的网络日志
博客园_首页
PCI Perspectives
PCI Perspectives
量子位
T
Threat Research - Cisco Blogs
酷 壳 – CoolShell
酷 壳 – CoolShell
Last Week in AI
Last Week in AI
Cyberwarzone
Cyberwarzone
The Cloudflare Blog
博客园 - 三生石上(FineUI控件)
L
LINUX DO - 最新话题
Forbes - Security
Forbes - Security
罗磊的独立博客
宝玉的分享
宝玉的分享
Simon Willison's Weblog
Simon Willison's Weblog
雷峰网
雷峰网
www.infosecurity-magazine.com
www.infosecurity-magazine.com
人人都是产品经理
人人都是产品经理
N
News and Events Feed by Topic

博客园_首页

Plist 二进制格式 Milvus 和 PGVector,哪个更好? OpenClaw 已过时?在 VS Code 中运行 Hermes Agent! 第30篇文章:一个大三计科生的自白 Manim如何在数学公式中完美显示中文? Docker 部署 RocketMQ 5 并发编程核心概念辨析 C#事务处理最佳实践:别再让“主表存了、明细丢了”的破事发生 CLI 是什么?为什么大厂突然集体卷命令行? 【从0到1构建一个ClaudeAgent】协作-自主Agent UIImageView 设置图片不生效的原因排查 最小二乘问题详解20:无先验约束下的增量式SFM自由网平差 痞子衡嵌入式:大话双核i.MXRT1180之XIP应用里借助MU实现可靠Flash IAP的方法 AI Chat 封装, SemanticKerne.AiProvider.Unified 已发布 Windows下右键编辑js文件无法打开记事本——在注册表中使用环境变量 在后台服务中使用 Scoped 服务,为什么总是报错? H200 安装驱动并使用sglang启动模型 wireshark 抓包Trap上报告警内容 我用 AI 辅助开发了一系列小工具(2):图片压缩工具 [A Primer On MC and CC] 2.1 Memory Consistency 1 - 指令重排序和 SC 模型 Oracle数据库SCN推进技术详解与实践指南 玩转控件:封装个带图片的Label控件 Claude Code 4.7 真正该升级的不是模型,而是你的工作流 前端小白一句话,AI 帮我做了个颜值拉满的桌面媒体播放器。当代码不再是门槛,一句话编程就是现实。 5. WorkBuddy: 小龙虾的灵魂三件套,让你的小龙虾不只是工具 SQLite 分片方案实战:三种分片策略的深度对比 告别简陋 UI!一款基于 Fluent Design 和基于 WinUI 的开源免费、现代化的 Avalonia UI 控件库 关于二进制排列组合枚举的总结 AI开发-python-LangGraph框架(3-27-LangGraph从零实现大模型智能决策工作流) ElasticSearch主分片和副本分片概念详解 【002】HTTPS 粗解:证书、TLS 握手与对后端配置的影响 Hermes Agent 一周暴涨五万 Star,但我劝你别急着追 明明连接的是Redis的DB0,为什么能查到DB3的数据? 【从0到1构建一个ClaudeAgent】协作-Agent团队 熟悉电子元器件之后,电子小白下一步该怎么走? MAF快速入门(23)通过C#类定义Skills .NET 高级开发 | 手写一个对象映射框架 FastAPI数据库ORM怎么选?我肝了三个Demo后,终于不再纠结了 mysqldump 参数拾遗:在遗忘与铭记之间 C# .NET 周刊|2026年3月5期 Claude code入门 - 陈彦斌 一文学习入门 ThingsBoard 开源物联网平台 GitHub 热门项目 | 2026年04月16日 如何为GIT设置全局勾子,为每次提交追加信息 Number.isFinite和isFinite与isNaN()和Number.isNaN的区别 PortSwigger SQL注入LAB2 推荐一个测试人必备的Skills,从功能到性能全搞定(附详细实操和安装下载方式) 筑基期:掌握Odoo基础核心知识点02(Odoo XML 开发方式详解) GLM模型这么火,咱们用vllm也咧一个呗! 深入理解 AbortController:从底层原理到跨语言设计哲学 字符串学习笔记 多租户系统框架的基础模块设计和分析设计 Apache SeaTunnel Zeta 为什么能做到“又快又稳”? AI开发-python-LangGraph框架(3-26-LangGraph基本概念及第一个简单样例) Vue 3 组件通信,别只会用 Props 和 Emits 了,这几个狠活儿你得看看 ElasticSearch7.X版本配置密码 用Manim实现动态交点计算--从一个动点问题说起 团结引擎+Addressable+Instant Game打包抖音小游戏 function call 实战:让 LLM 自动判断 pod 异常、调用日志工具并完成故障分析 bubseek —— 让 Agent 的足迹,变成团队的洞察 通过 C# 读取并导出 PDF 书签 如何用 GitHub Actions 实现 Steam 自动化发布 【从0到1构建一个ClaudeAgent】并发-后台任务 .NET 高级开发 | 定制 ASP.NET Core 框架 电子小白:什么是运算放大器(运放) zero2Agent:面向大厂面试的 Agent 工程教程,从概念到生产的完整学习路线 堆上的ORW HC32F460 USB CDC通信异常:非对齐访问异常排查 20260413-Hyperbridge 攻击事件:发生在默克尔山上的验证绕过 那些喊着AI 要淘汰你的人,正在靠你的焦虑赚大钱! 深度学习进阶(八)Swin Transformer 最小二乘问题详解19:带先验约束的增量式SFM优化与实现 SnapTranslate 3.0 正式发布:全局划词翻译 + 完整英语学习闭环,一站式搞定查词、记词、复习 工作的意义、工作的困难认知再思考 .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 开了 TUN 模式还是直连?90% 的人都踩过这个坑 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术
Redis--集群搭建与主从复制原理
NE_STOP · 2026-05-07 · via 博客园_首页

Redis主从集群

为了解决Redis的单点故障问题,我们可以搭建一个Redis集群,将数据备份到集群的其他节点上,如果一个节点Redis宕机,由其他节点顶上。

主从集群搭建

Redis的主从集群是一个“一主多从”的读写分离集群。集群种的Master节点负责处理读写请求,而Slave节点只能处理读请求。所以要将集群搭建为读写分离模式。

主要原因是,对于数据库集群,写操作压力小,压力大多数来自读请求,所以,一个节点负责写操作即可。

下面要搭建的读写分离集群包含一个Master和两个Slave。他们的端口号分别是6380、6381、6382。

  1. 设置公共配置文件redis.conf

在redis安装目录种mkdir一个目录,命名为cluster。然后将redis.conf文件复制到cluster目录中。该文件会被其他配置文件包含,所以该文件中需要设置每个Redis节点相同的公共的属性。

  1. 修改这个redis.conf

    • masterauth

      由于主从集群中每个主机都可能是Master,所以最好不要设置密码验证属性requirepass。

      如果要设置,一定要每个主机的密码都相同。

      此时每个配置文件中都要设置两个完全相同的属性:requirepass和masterauth。

      requirepass:指定当前主机的访问密码。

      masterauth:指定当前Slave访问master时提供的访问密码,用来验证slave的身份。

    • repl-disable-tcp-nodelay

      该属性用于设置是否禁用TCP特性tcp-nodelay。

      设置yes则禁用,表示关闭TCP_NODELAY,启用Nagle算法,此时master与slave间通信延迟增大,使用TCP包数量会较少,占用网络带宽小。

      设置no,表示开启 TCP_NODELAY,网络延迟变小,使用TCP小包数量会较多,实时性高,占用网络带宽大。

      tcp-nodelay:为了充分利用网络带宽,TCP总是希望发送尽可能大的数据库。为了达到该目的,TCP使用了一个名为Nagle算法。
      Nagle算法的工作原理:网络在接收到数据后,并不直接发送,而是等待数据量足够大时再一次性发送出去。这样网络上传输的有效数据比例就得到了大大提升,无效数据传递极大减少,节省网络带宽,缓解网络压力。
      
    • 新建redis6380.conf、redis6381.conf、redis6382.conf

      replica-priority :给slave节点设置权重优先级,数值越小,越优先被选举为主节点,0表示不参与选举。

无标题

无标2题

无标3题

​ 启动三台Redis

​ 分别使用redis6380.conf、redis6381.conf与redis6382.conf三个配置文件启动三台Redis。

redis-server redis6380.conf
redis-server redis6381.conf
redis-server redis6382.conf

​ 设置主从关系:

​ 分别使用客户端连接三台Redis,然后通过slaveof命令,指定6380的Redis为Master。

注意:slaveof命令在Redis重启之后主从关系会失效!!!

4

​ 查看状态信息:

​ 通过info replication 命令查看当前连接的Redis的状态信息。

无5标题

分级管理

如果Redis集群中的slave较多,数据同步会对Master形成较大的压力。此时可以对slave分级管理。

无标6题

设置方法:让低级别的slave指定其slaveof的主机为上一级slave即可,不过上一级slave的角色仍是slave。

容灾冷处理

在Redis集群中,如果Master出现宕机怎么办?

有两种处理方式:

  1. 手工角色调整,使Slave晋升为Master的冷处理。
  2. 使用哨兵模式,实现Redis集群的高可用HA,即热处理。

无论Master上是否宕机,slave都可使用slaveof no one 将自己晋升为master。

如果其原本就有下一级的slave,那么就直接变成这些slave的master了。

而原来master会时区这个新晋的slave。

主从复制原理

主从复制过程

无标7题

无8标题

  1. 保存master地址:slave接收到slaveof指令后,slave会立即将心的master地址保存下来。

  2. 建立连接:slave定时与master建立socket连接。如果无法建立,则会不断重试,直到连接成功或接收到slaveof no one 指令。

  3. slave发送ping命令:建立连接后,slave会发送ping命令进行首次通信。如果slave没有收到master的回复,则slave会主动断开连接,下次的定时任务会尝试重连。

  4. 对slave身份验证:master收到slave的ping命令后,不会立即对其回复,而是先进行身份验证。如果验证失败,则发消息拒绝连接,如果验证成功,则发送给slave连接成功消息。

  5. master持久化:首次通信成功后,slave会向master发送数据同步请求,当master接收到请求后,会fork一个子进程,让子进程以异步方式立即进行持久化。

  6. 数据发送:持久化完毕后,master再fork一个子进程,让子今年初以异步方式将数据发给slave,slave将数据不断写入到本地持久化文件中。

    在数据同步过程中,master仍在执行客户端的写操作。且不仅将新数据写入到master内存呢,同时也写入到同步缓存。当master的持久化文件中的数据发送完毕后,master会将同步缓存的数据发送给slave,然后slave佳能其写入到本地持久化文件中。数据同步完成。

  7. slave恢复内存数据:数据同步完成后,slave读取持久化文件,将其恢复到本地内存,然后对外提供服务。

  8. 持续增量复制:之后,master会持续不断的将新的数据以增量方式发送给slave,以保证主从数据的一致性。

数据同步演变过程

sync同步

Redis2.8之前,首次通信成功后,slave会向master发送sync数据同步请求。

master就会将全部数据发送给slave,slave将数据保存到本地持久化文件内。这个过程称为全量复制。

但是有一个问题:在全量复制过程中可能会出现过程中断,当网络恢复后,slave与master重新连接成功,此时slave向master又发送同步请求,又开始从头全量复制。

全量复制过程非常耗时,期间网络抖动概率高。从头开始非常耗资源,而且可能会出现长时间无法完成全量复制的情况。

psync同步

Redis2.8版本之后,全量复制采用了psync(partial sync,不完全同步)同步策略。

当全量复制过程出现由于抖动而导致复制过程中断时,当重新连接后,复制过程可以“断点续传”。从断开位置继续复制,不用从头再来。这就提高了性能。

为了实现psync,系统做了三个变化:

  • 复制偏移量

系统为每个要传送的数据进行了编号,编号从0开始,每个字节一个编号。此编号称为复制偏移量。参与复制的主从节点都会维护该复制偏移量offset。

无9标题

master每发送一个字节数据就会累计,可以通过info replication 命令查看 master_repl_offset 属性。

同时,slave会定时向master 上报自身已完成的复制偏移量,所以master也会保存slave的复制偏移量。

无标10题

slave在接收到master的数据后,也会累计接收的偏移量。通过info replication 的slave_repl_offset 查看。

  • 主节点复制ID

当master启动后,会生成一个40位的字符串作为他的复制id。此id是在进行数据同步时slave识别master使用的。

通过info replication 的master_replid 属性查看。

  • 复制积压缓冲区

当master连接slave时,在master中会创建并维护一个队列backlog,默认1MB,该队列称为复制积压缓存区。

master接收到写操作数据,会先写入master主存,写入到master为每个slave配置的发送缓存,还会写入到复制挤压缓冲区。作用是保存最近操作的数据,以备”断点续传“时做数据补偿,防止数据丢失。

  • psync同步过程

无标11题

  • psync存在的问题
    • 数据同步过程中,若slave重启,slave保存master的id和续传offset都会消失,“断点续传”将无法进行,从而只能进行全量复制,导致资源浪费。
    • 数据同步过程中,master宕机或slave“易主”,导致slave要从新的master进行全量复制,造成资源浪费。

psync的改进(Redis4.0同源增量同步策略)

  • 解决slave重启问题

    针对“salve重启后master的id丢失问题”,psync将maste的rid直接写入到slave的持久化文件。

    slave重启后从本地文件获取master的id,然后向master提交获取复制偏移量的请求。

    master根据复制偏移量开始向slave进行“断点续传”。

  • 解决slave易主问题

    这个问题的本质是新的master的id和slave提交的psync的原master的id不一致。如果新master能够识别出slave发送给master的psync请求,那么就应该进行“断点续传”。

    新master中恰好保存了原master的id。所以当slave晋升为新master后,接收到了给原master发送的同步请求,新master也能进行处理。

无盘操作

Redis6.0 提出了“无盘全量同步”和“无盘加载”策略,避免了耗时io操作。(说人话就是不写入持久化文件了,直接进行数据同步)。

  • 无盘全量同步:master的主进程fork出子进程直接将内存中的数据发给slave,不经过磁盘。
  • 无盘加载:slave接收到master发来的数据后不写入磁盘文件,而是直接写入内存,这样就能快速完成数据恢复。

共享复制积压缓冲区

Redis7.0 让所有slave的发送缓冲区共享复制积压缓冲区。这使得复制积压缓冲区的作用除了保障数据安全外,还充分利用了复制积压缓冲区。