惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

P
Proofpoint News Feed
The Last Watchdog
The Last Watchdog
Security Latest
Security Latest
P
Privacy International News Feed
T
Threat Research - Cisco Blogs
H
Help Net Security
T
The Exploit Database - CXSecurity.com
Know Your Adversary
Know Your Adversary
博客园_首页
S
Securelist
S
Schneier on Security
G
GRAHAM CLULEY
Cisco Talos Blog
Cisco Talos Blog
V
Visual Studio Blog
博客园 - 叶小钗
C
Cybersecurity and Infrastructure Security Agency CISA
有赞技术团队
有赞技术团队
Recent Announcements
Recent Announcements
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Microsoft Azure Blog
Microsoft Azure Blog
A
About on SuperTechFans
博客园 - 三生石上(FineUI控件)
Stack Overflow Blog
Stack Overflow Blog
量子位
L
Lohrmann on Cybersecurity
Hugging Face - Blog
Hugging Face - Blog
Engineering at Meta
Engineering at Meta
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
C
CXSECURITY Database RSS Feed - CXSecurity.com
A
Arctic Wolf
P
Privacy & Cybersecurity Law Blog
Simon Willison's Weblog
Simon Willison's Weblog
S
SegmentFault 最新的问题
The Hacker News
The Hacker News
罗磊的独立博客
博客园 - 司徒正美
D
Darknet – Hacking Tools, Hacker News & Cyber Security
博客园 - 【当耐特】
Microsoft Security Blog
Microsoft Security Blog
K
Kaspersky official blog
人人都是产品经理
人人都是产品经理
博客园 - 聂微东
L
LINUX DO - 热门话题
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
V
V2EX
V
Vulnerabilities – Threatpost
AWS News Blog
AWS News Blog
小众软件
小众软件
Project Zero
Project Zero

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
Redis--SDS字符串与集合的底层实现原理
NE_STOP · 2026-04-29 · via 博客园_首页

简单动态字符串SDS

Redis的key和value,其基础数据类型都是字符串。例如:Hash型value的field和value、List、Set、ZSet的元素类型都是字符串。

Redis自定义了一种字符串,这种字符串本身的结构比较简单,但功能强大,称为简单动态字符串,Simple Dynamic String (SDS).

但不是所有的字符串都是SDS,也有C语言的字符串。比如命令执行成功返回的“ok”就是C语言的字符串。C语言的字符串只会出现在字符串“字面常量”中,并且该字符串不可能发生变更。

SDS结构

SDS是一个结构体,定义在Redis安装目录下的src/sds.h中:

无标题

例如执行 set country "china" 时,country 和“china” 都是SDS类型,只不过一个是SDS的变量,一个是SDS的字面常量。“china”在内存中的结构如下:

无2标题

SDS的优势

防止“字符串长度获取”性能瓶颈

对于c字符串,要获取其长度,则必须遍历整个字符串才可以拿到。对于超长的字符串遍历,会称为性能瓶颈。

SDS结构体中直接存放了字符串的长度数据,不用遍历字符串旧可以拿到长度数据,所以不会成为Redis的性能瓶颈。

保障二进制安全

​ c字符串中只能包含某种编码格式的字符,例如:ASCII、UTF-8等,并且除了字符串末尾外,其他位置是不能包含空字符“\0”的,否则该字符串就会被程序误解为提前结束。而在图片、音频、视频、压缩文件、office文件等二进制数据中,以空字符“\0”作为分隔符的情况很常见,因此在c字符串中不能保存像图片、音频、视频、压缩文件等二进制数据。

​ 但SDS不是以空字符“\0”作为字符串结束标志的,是通过len属性来判断字符串是否结束。所以对于程序处理SDS中的字符串数据,只需读取即可,无需遍历等操作。数据写入的是什么,读到的就是什么。

减少内存再分配次数

​ SDS采用了空间预分配策略和惰性空间释放策略来减少内存再分配次数。

空间预分配策略是指,每次SDS进行空间扩展时,程序不但为其分配所需的空间,还会为其分配额外的未使用空间,以减少内存再分配的次数。而额外分配的空间大小取决于空间扩展后SDS的len属性值:

  • 如果len<1M ,那么分配的未使用空间free =len 属性值。
  • 如果len>=1M ,那么分配的未使用空间free =1M。

SDS对于空间释放采用的是惰性空间释放策略。该策略指,SDS字符串长度如果缩短,那么多出来的空间暂时不释放,而是增加到free,以使后期扩展SDS时减少内存再分配次数。

​ 如果要释放SDS的未使用空间,可通过sdsRemoveFreeSpace()函数来释放

兼容C函数

为了能够兼容C函数,SDS的底层数组buf【】中的字符串仍以空字符“\0”结尾。

比如要比较两个字符串,一个是SDS,一个是C字符串,此时可以通过C语言函数:strcmp(sds_str->buf,c_str)

集合(Hash和ZSet)的底层实现原理

对于Hash和ZSet集合,底层的实现有两种:压缩列表zipList(Redis7.0之前使用的是zipList,之后使用的是listPack)和跳跃列表skipList。

这两种实现对于用户来说是透明的,但用户写入不同的数据,系统会自动使用不同的实现。

使用压缩列表zipList的条件:同时满足配置文件redis.conf中相关集合元素数据阈值与元素大小阈值两个条件。

使用跳跃列表skipList的条件:只要上面有一个条件不满足,就使用跳跃列表skipList。

例如,对于ZSet集合中这两个条件如下:
1.集合元素个数小于redis.conf中zset-max-ziplist-entries属性的值,其默认值为128
2.每个集合元素大小都小于redis.conf中zset-max-ziplist-value属性的值。默认值为64字节。

zipList(Hash和ZSet底层)

zipList 压缩列表,是一个经过特殊编码的用于存储字符串或整数的双向链表

底层结构由三部分构成:head、entries、end。这三部分在内存上是连续的。

head由三部分构成:

  • zlbytes:占4个字节,存放zipList列表整体数据结构所占的字节数,包括zlbytes本身的长度。
  • zltail:占4个字节,存放zipList中最后一个entry在整个数据结构中的偏移量(字节)。该数据的存在可以快速定位到列表的尾entry位置,方便操作。
  • zllen:占2个字节,存放列表包含entry的个数,由于其只有16位,所以zipList最多可以含有entry的个数为2²-1=65535(实际上可以更多!)。

无标3题

entries

entries是真正的列表,由很多列元素entry构成。由于不同的元素类型、数值的不同,从而导致每个entry的长度不同。

​ 每个entry由三部分构成:

  • prevlength:记录上一个entry的长度,以实现逆序遍历。默认长度为1字节,只要上一个entry长度<254字节,prevlength 就占1个字节,否则会自动扩展为3个字节。
  • encoding:标志后面data的具体类型。如果data是整数型,encoding固定长度为1字节。

​ 如果data是字符串类型,则encoding长度可能是1字节、2字节或5字节。

​ data字符串不同的长度,对应不同的encoding长度。

  • data:真正存储的数据。数据类型只能是整数型或字符串类型。不同的数据占用的字节长度不同。

无标5题

end

end只包含一部分,称为zlend。占1个字节,值固定为255,即二进制位全为1,表示一个zipList 列表的结束。

无标4题

listPack

​ 由于zipList实现复杂,为了逆序遍历,每个entry中包含前一个entry的长度,这样导致在zipList中间修改或插入entry时需要进行级联更新。在高并发的写操作下会极度降低Redis性能。为了实现更紧凑、更快的解析,更简单的实现,重写了zipList,命名为listPack。

​ 从Redis7开始,listPack替换了zipList,但为了兼容性,在配置中也保留了zipList的相关属性。

​ listPack 也是一个经过特殊编码的用于存储字符串或整数的双向链表。其底层数据结构也由三部分构成:head、entries、end,且这三部分在内存上也是连续的。

​ listPack与zipList的区别在于head和每个entry的结构上,表示列表结束end与zipList相同,占一个字节,且8位全为1.

head

head有两部分构成:

  • totalBytes:占4字节,存放listPack列表整体数据结构所占的字节数,包括totalBytes本身的长度。
  • elemNum:占2字节,存放列表包含的entry的个数。其意义与zipList中的zllen相同。

与zipList中的head相比,没有了记录最后一个entry偏移量的zltail。

entries

​ entries也是listPack中真正的列表,由很多的列表元素entry构成。由于元素类型、数值不同,导致每个entry的长度不同。但与zipList的entry结构相比,listPack的entry结构发生了很大变化。

​ 最大的变化就是没有了记录前一个entry长度的prevlength,而增加了记录当前entry长度的element-total-len。这个改变也可以实现逆序遍历,却避免了由于在列表中间修改或插入entry时引发的级联更新问题。

​ 每个entry仍由三部分构成:

  • encoding:标志后面data的具体类型。

​ 如果data是整数型,encoding长度可能是1、2、3、4、5或9字节

​ 如果data是字符串类型,encoding长度可能是1、2或5字节

​ data字符串长度不同对应着不同的encoding长度。

  • data:真正存储的数据。只能是整数型或字符串类型。
  • element-total-len:记录当前entry的长度,用于实现逆序遍历。其本身占有的字节数据可能会是1、2、3、4、5字节。

无标6题

skipList(ZSet底层)

skipList 跳跃列表,简称跳表,是一种随机化的数据结构,基于并联的链表,实现简单,查找效率高。

简单来说跳表也是链表的一种,只不过它在链表的基础上增加了跳跃功能。也正是这个跳跃功能,使得在查找元素时,能够提高效率。

skipList原理

普通的有序列表如下:

无标7题

如果要插入一个元素,需要从头到尾一个一个对比,然后插入到指定位置。

无8标题

增加偶数节点的层级,这样在插入元素时,先对比高层节点找到位置后再对比低层节点,然后插入,这样比上一种结构的对比次数少,效率高。

无标9题

为了提高插入效率,可以再增加一级链表,这样比较次数就更少了。

这种分级链表是按照一定的规则设置的,但是如果我删掉某个节点,那么这个节点后面的所有节点的层级都要重新计算,这样会消耗系统资源。

那怎么解决呢?

使一个节点的层级由随机决定,这样删掉某个节点后,后面的节点保持不变即可。

quickList(List底层)

quickList 快速列表,quickList本身是一个双向无循环链表,它的每一个节点都是一个zipList。

从Redis3.2开始,对于List的底层实现,使用quickList代替了zipList和linkedList。

zipList和linkedList都有明显不足,而quickList对他们进行了改进,吸取了zipList和linkedList的优点,避开了他们的不足。

quickList本质上是zipList和linkedList的混合体。其将linkedList按段切分,每一段使用zipList来紧凑存储若干真正的数据元素,多个zipList之间使用双向指针串接起来。

对于每个zipList中最多可存放多大容量的数据元素,在配置文件中通过list-max-ziplist-size属性来指定。

无10标题

检索操作

对于List元素的检索,都是以其索引index为依据的。

quickList 由一个个zipList组成,每个zipList的zllen中记录当前zipList中包含entry的个数,即包含真正数据元素的个数。

根据要检索的元素的index,从quickList的头节点开始,逐个对zipList的zllen做sum求和,直到找到第一个求和后sum>index的zipList,那么要检索的元素就在这个zipList中。

插入操作

无11标题

key与value中元素的数量

Redis中支持的key的数量、集合value中支持的元素数量非常庞大。

  • Redis最多可以处理232 个key(约42亿),并且经过测试,每个Redis实例至少可以处理2.5亿个key。
  • 每个Hash、LIst、Set、ZSet集合都可以包含232 个元素。