惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Stack Overflow Blog
Stack Overflow Blog
WordPress大学
WordPress大学
罗磊的独立博客
S
Secure Thoughts
Schneier on Security
Schneier on Security
博客园 - Franky
www.infosecurity-magazine.com
www.infosecurity-magazine.com
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
爱范儿
爱范儿
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Hacker News: Ask HN
Hacker News: Ask HN
PCI Perspectives
PCI Perspectives
Google DeepMind News
Google DeepMind News
S
Security Affairs
SecWiki News
SecWiki News
博客园 - 聂微东
Security Archives - TechRepublic
Security Archives - TechRepublic
Google Online Security Blog
Google Online Security Blog
H
Heimdal Security Blog
S
Security @ Cisco Blogs
Engineering at Meta
Engineering at Meta
C
CXSECURITY Database RSS Feed - CXSecurity.com
Cloudbric
Cloudbric
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
V
Visual Studio Blog
P
Proofpoint News Feed
Project Zero
Project Zero
T
Threat Research - Cisco Blogs
Webroot Blog
Webroot Blog
Blog — PlanetScale
Blog — PlanetScale
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
W
WeLiveSecurity
Last Week in AI
Last Week in AI
月光博客
月光博客
Microsoft Azure Blog
Microsoft Azure Blog
M
MIT News - Artificial intelligence
有赞技术团队
有赞技术团队
S
Securelist
GbyAI
GbyAI
Application and Cybersecurity Blog
Application and Cybersecurity Blog
C
CERT Recently Published Vulnerability Notes
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Cyberwarzone
Cyberwarzone
B
Blog RSS Feed
P
Palo Alto Networks Blog
H
Hacker News: Front Page
D
Docker
雷峰网
雷峰网
Latest news
Latest news
Microsoft Security Blog
Microsoft Security Blog

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
Redis--集群搭建与主从复制原理
NE_STOP · 2026-05-07 · via 博客园_首页

Redis主从集群

为了解决Redis的单点故障问题,我们可以搭建一个Redis集群,将数据备份到集群的其他节点上,如果一个节点Redis宕机,由其他节点顶上。

主从集群搭建

Redis的主从集群是一个“一主多从”的读写分离集群。集群种的Master节点负责处理读写请求,而Slave节点只能处理读请求。所以要将集群搭建为读写分离模式。

主要原因是,对于数据库集群,写操作压力小,压力大多数来自读请求,所以,一个节点负责写操作即可。

下面要搭建的读写分离集群包含一个Master和两个Slave。他们的端口号分别是6380、6381、6382。

  1. 设置公共配置文件redis.conf

在redis安装目录种mkdir一个目录,命名为cluster。然后将redis.conf文件复制到cluster目录中。该文件会被其他配置文件包含,所以该文件中需要设置每个Redis节点相同的公共的属性。

  1. 修改这个redis.conf

    • masterauth

      由于主从集群中每个主机都可能是Master,所以最好不要设置密码验证属性requirepass。

      如果要设置,一定要每个主机的密码都相同。

      此时每个配置文件中都要设置两个完全相同的属性:requirepass和masterauth。

      requirepass:指定当前主机的访问密码。

      masterauth:指定当前Slave访问master时提供的访问密码,用来验证slave的身份。

    • repl-disable-tcp-nodelay

      该属性用于设置是否禁用TCP特性tcp-nodelay。

      设置yes则禁用,表示关闭TCP_NODELAY,启用Nagle算法,此时master与slave间通信延迟增大,使用TCP包数量会较少,占用网络带宽小。

      设置no,表示开启 TCP_NODELAY,网络延迟变小,使用TCP小包数量会较多,实时性高,占用网络带宽大。

      tcp-nodelay:为了充分利用网络带宽,TCP总是希望发送尽可能大的数据库。为了达到该目的,TCP使用了一个名为Nagle算法。
      Nagle算法的工作原理:网络在接收到数据后,并不直接发送,而是等待数据量足够大时再一次性发送出去。这样网络上传输的有效数据比例就得到了大大提升,无效数据传递极大减少,节省网络带宽,缓解网络压力。
      
    • 新建redis6380.conf、redis6381.conf、redis6382.conf

      replica-priority :给slave节点设置权重优先级,数值越小,越优先被选举为主节点,0表示不参与选举。

无标题

无标2题

无标3题

​ 启动三台Redis

​ 分别使用redis6380.conf、redis6381.conf与redis6382.conf三个配置文件启动三台Redis。

redis-server redis6380.conf
redis-server redis6381.conf
redis-server redis6382.conf

​ 设置主从关系:

​ 分别使用客户端连接三台Redis,然后通过slaveof命令,指定6380的Redis为Master。

注意:slaveof命令在Redis重启之后主从关系会失效!!!

4

​ 查看状态信息:

​ 通过info replication 命令查看当前连接的Redis的状态信息。

无5标题

分级管理

如果Redis集群中的slave较多,数据同步会对Master形成较大的压力。此时可以对slave分级管理。

无标6题

设置方法:让低级别的slave指定其slaveof的主机为上一级slave即可,不过上一级slave的角色仍是slave。

容灾冷处理

在Redis集群中,如果Master出现宕机怎么办?

有两种处理方式:

  1. 手工角色调整,使Slave晋升为Master的冷处理。
  2. 使用哨兵模式,实现Redis集群的高可用HA,即热处理。

无论Master上是否宕机,slave都可使用slaveof no one 将自己晋升为master。

如果其原本就有下一级的slave,那么就直接变成这些slave的master了。

而原来master会时区这个新晋的slave。

主从复制原理

主从复制过程

无标7题

无8标题

  1. 保存master地址:slave接收到slaveof指令后,slave会立即将心的master地址保存下来。

  2. 建立连接:slave定时与master建立socket连接。如果无法建立,则会不断重试,直到连接成功或接收到slaveof no one 指令。

  3. slave发送ping命令:建立连接后,slave会发送ping命令进行首次通信。如果slave没有收到master的回复,则slave会主动断开连接,下次的定时任务会尝试重连。

  4. 对slave身份验证:master收到slave的ping命令后,不会立即对其回复,而是先进行身份验证。如果验证失败,则发消息拒绝连接,如果验证成功,则发送给slave连接成功消息。

  5. master持久化:首次通信成功后,slave会向master发送数据同步请求,当master接收到请求后,会fork一个子进程,让子进程以异步方式立即进行持久化。

  6. 数据发送:持久化完毕后,master再fork一个子进程,让子今年初以异步方式将数据发给slave,slave将数据不断写入到本地持久化文件中。

    在数据同步过程中,master仍在执行客户端的写操作。且不仅将新数据写入到master内存呢,同时也写入到同步缓存。当master的持久化文件中的数据发送完毕后,master会将同步缓存的数据发送给slave,然后slave佳能其写入到本地持久化文件中。数据同步完成。

  7. slave恢复内存数据:数据同步完成后,slave读取持久化文件,将其恢复到本地内存,然后对外提供服务。

  8. 持续增量复制:之后,master会持续不断的将新的数据以增量方式发送给slave,以保证主从数据的一致性。

数据同步演变过程

sync同步

Redis2.8之前,首次通信成功后,slave会向master发送sync数据同步请求。

master就会将全部数据发送给slave,slave将数据保存到本地持久化文件内。这个过程称为全量复制。

但是有一个问题:在全量复制过程中可能会出现过程中断,当网络恢复后,slave与master重新连接成功,此时slave向master又发送同步请求,又开始从头全量复制。

全量复制过程非常耗时,期间网络抖动概率高。从头开始非常耗资源,而且可能会出现长时间无法完成全量复制的情况。

psync同步

Redis2.8版本之后,全量复制采用了psync(partial sync,不完全同步)同步策略。

当全量复制过程出现由于抖动而导致复制过程中断时,当重新连接后,复制过程可以“断点续传”。从断开位置继续复制,不用从头再来。这就提高了性能。

为了实现psync,系统做了三个变化:

  • 复制偏移量

系统为每个要传送的数据进行了编号,编号从0开始,每个字节一个编号。此编号称为复制偏移量。参与复制的主从节点都会维护该复制偏移量offset。

无9标题

master每发送一个字节数据就会累计,可以通过info replication 命令查看 master_repl_offset 属性。

同时,slave会定时向master 上报自身已完成的复制偏移量,所以master也会保存slave的复制偏移量。

无标10题

slave在接收到master的数据后,也会累计接收的偏移量。通过info replication 的slave_repl_offset 查看。

  • 主节点复制ID

当master启动后,会生成一个40位的字符串作为他的复制id。此id是在进行数据同步时slave识别master使用的。

通过info replication 的master_replid 属性查看。

  • 复制积压缓冲区

当master连接slave时,在master中会创建并维护一个队列backlog,默认1MB,该队列称为复制积压缓存区。

master接收到写操作数据,会先写入master主存,写入到master为每个slave配置的发送缓存,还会写入到复制挤压缓冲区。作用是保存最近操作的数据,以备”断点续传“时做数据补偿,防止数据丢失。

  • psync同步过程

无标11题

  • psync存在的问题
    • 数据同步过程中,若slave重启,slave保存master的id和续传offset都会消失,“断点续传”将无法进行,从而只能进行全量复制,导致资源浪费。
    • 数据同步过程中,master宕机或slave“易主”,导致slave要从新的master进行全量复制,造成资源浪费。

psync的改进(Redis4.0同源增量同步策略)

  • 解决slave重启问题

    针对“salve重启后master的id丢失问题”,psync将maste的rid直接写入到slave的持久化文件。

    slave重启后从本地文件获取master的id,然后向master提交获取复制偏移量的请求。

    master根据复制偏移量开始向slave进行“断点续传”。

  • 解决slave易主问题

    这个问题的本质是新的master的id和slave提交的psync的原master的id不一致。如果新master能够识别出slave发送给master的psync请求,那么就应该进行“断点续传”。

    新master中恰好保存了原master的id。所以当slave晋升为新master后,接收到了给原master发送的同步请求,新master也能进行处理。

无盘操作

Redis6.0 提出了“无盘全量同步”和“无盘加载”策略,避免了耗时io操作。(说人话就是不写入持久化文件了,直接进行数据同步)。

  • 无盘全量同步:master的主进程fork出子进程直接将内存中的数据发给slave,不经过磁盘。
  • 无盘加载:slave接收到master发来的数据后不写入磁盘文件,而是直接写入内存,这样就能快速完成数据恢复。

共享复制积压缓冲区

Redis7.0 让所有slave的发送缓冲区共享复制积压缓冲区。这使得复制积压缓冲区的作用除了保障数据安全外,还充分利用了复制积压缓冲区。