惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

S
Schneier on Security
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
T
Threat Research - Cisco Blogs
C
Cyber Attacks, Cyber Crime and Cyber Security
C
CXSECURITY Database RSS Feed - CXSecurity.com
A
Arctic Wolf
Security Latest
Security Latest
Simon Willison's Weblog
Simon Willison's Weblog
I
Intezer
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
T
Troy Hunt's Blog
Latest news
Latest news
Help Net Security
Help Net Security
S
Security Affairs
Webroot Blog
Webroot Blog
The Hacker News
The Hacker News
AI
AI
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
T
Tor Project blog
Forbes - Security
Forbes - Security
Google DeepMind News
Google DeepMind News
AWS News Blog
AWS News Blog
Attack and Defense Labs
Attack and Defense Labs
P
Proofpoint News Feed
www.infosecurity-magazine.com
www.infosecurity-magazine.com
H
Help Net Security
L
Lohrmann on Cybersecurity
S
SegmentFault 最新的问题
Google Online Security Blog
Google Online Security Blog
MongoDB | Blog
MongoDB | Blog
Cyberwarzone
Cyberwarzone
The Last Watchdog
The Last Watchdog
S
Securelist
N
News and Events Feed by Topic
S
Secure Thoughts
F
Fortinet All Blogs
博客园_首页
C
Cybersecurity and Infrastructure Security Agency CISA
量子位
M
MIT News - Artificial intelligence
F
Full Disclosure
T
The Blog of Author Tim Ferriss
T
Tailwind CSS Blog
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Microsoft Security Blog
Microsoft Security Blog
I
InfoQ
P
Privacy International News Feed
L
LangChain Blog
Know Your Adversary
Know Your Adversary
C
CERT Recently Published Vulnerability Notes

犀利豆的博客

《SRE google 运维解密》读书笔记 (六) 《SRE google 运维解密》读书笔记 (五) 《SRE google 运维解密》读书笔记 (四) 《SRE google 运维解密》读书笔记 (三) 《SRE google 运维解密》读书笔记 (二) 《SRE google 运维解密》读书笔记 (一) 2021 总结 终于有一个 Java 可以用的微信机器人了 Vertx入门到实战—实现钉钉机器人内网穿透代理 钉钉机器人回调内网穿透代理--使用篇 周末补习(一)trie 树 那些有趣的代码(三)--勤俭持家的 ArrayList 那些有趣的代码(二)--偏不听父母话的 Tomcat 类加载器 那些有趣的代码(一)--有点萌的 Tomcat 的线程池 从需求第三定律说起--为什么知乎的回答质量下降了 如何利用 Spring Hibernate 高级特性设计实现一个权限系统 居然有人能忘记吃饭?写个微信机器人提醒他 我的2018年总结 从 LongAdder 中窥见并发组件的设计思路 徒手撸框架--实现 RPC 远程调用 我的写作工具链 Java 渲染 docx 文件,并生成 pdf 加水印 撸码的福音--变量名生成器的实现 Raft 协议学习笔记 dubbo 源码学习(一)开篇 Redis 命令的执行过程 Redis 中的事件驱动模型 Redis 的基础数据结构(三)对象 Redis 的基础数据结构(二) 整数集合、跳跃表、压缩列表 Redis 的基础数据结构(一) 可变字符串、链表、字典 线程池 execute() 的工作逻辑 JAVA 中的 CAS 徒手撸框架--高并发环境下的请求合并 徒手撸框架--实现Aop 徒手撸框架--实现IoC 2017个人总结 最近遇到的几个问题集合 Redis RedLock 完美的分布式锁么? JAVA 8入门(二)流 JAVA 8入门(一)Lambda表达式 有道 Alfred Workflow 威力加强版 Kafka实现原理笔记 《交易系统:更新与跨越》读后笔记 Netty-Apns接入实现 Future研究 Hystrix入门研究 Redis实现分布式锁
Redis 数据库、键过期的实现
Zhengxin Diao · 2018-03-21 · via 犀利豆的博客

原文地址:https://www.xilidou.com/2018/03/20/redis-server/

之前的文章讲解了 Redis 的数据结构,这回就可以看看作为内存数据库,Redis 是怎么存储数据的。以及键是怎么过期的。

阅读这篇文章你将会了解到:

  • Redis 的数据库实现
  • Redis 键过期的策略

数据库的实现

我们先看代码 server.h/redisServer

1
2
3
4
5
6
7
8
9
10
11
12
struct redisServer{
...


redisDb *db;


int dbnum;

...
}

再看redisDb的代码:

1
2
3
4
5
6
7
8
9
10
typedef struct redisDb {
dict *dict;
dict *expires;
dict *blocking_keys;
dict *ready_keys;
dict *watched_keys;
int id;
long long avg_ttl;
} redisDb;

总体来说redis的 server 包含若干个(默认16个) redisDb 数据库。

db

Redis 是一个 k-v 存储的键值对数据库。其中字典 dict 保存了数据库中的所有键值对,这个地方叫做 keyspace 直译过来就是“键空间”。

所以我们就可以这么认为,在 redisDb 中我们使用 dict(字典)来维护键空间。

  • keyspace 的 kay 是数据库的 key,每一个key 是一个字符串对象。注意不是字符串,而是字符串对象。

  • keyspace 的 value 是数据库的 value,这个 value 可以是 redis 的,字符串对象,列表对象,哈希表对象,集合对象或者有序对象中的一种。

数据库读写操作

所以对于数据的增删改查,就是对 keyspace 这个大 map 的增删改查。

当我们执行:

1
>redis SET mobile "13800000000"

实际上就是为 keyspace 增加了一个 key 是包含字符串“mobile”的字符串对象,value 为包含字符“13800000000”的字符串对象。

看图:

db

对于删改查,没啥好说的。类似java 的 map 操作,大多数程序员应该都能理解。

需要特别注意的是,再执行对键的读写操作的时候,Redis 还要做一些额外的维护动作:

  • 维护 hit 和 miss 两个计数器。用于统计 Redis 的缓存命中率。
  • 更新键的 LRU 时间,记录键的最后活跃时间。
  • 如果在读取的时候发现键已经过期,Redis 先删除这个过期的键然后再执行余下操作。
  • 如果有客户对这个键执行了 WATCH 操作,会把这个键标记为 dirty,让事务注意到这个键已经被改过。
  • 没修改一次 dirty 会增加1。
  • 如果服务器开启了数据库通知功能,键被修改之后,会按照配置发送通知。

键的过期实现

Redis 作为缓存使用最主要的一个特性就是可以为键值对设置过期时间。就看看 Redis 是如果实现这一个最重要的特性的?

在 Redis 中与过期时间有关的命令

  • EXPIRE 设置 key 的存活时间单位秒
  • EXPIREAT 设置 key 的过期时间点单位秒
  • PEXPIRE 设置 key 的存活时间单位毫秒
  • PEXPIREAT 设置 key 的过期时间点单位毫秒

其实这些命令,底层的命令都是由 REXPIREAT 实现的。

在 redisDb 中使用了 dict *expires,来存储过期时间的。其中 key 指向了 keyspace 中的 key(c 语言中的指针), value 是一个 long long 类型的时间戳,标定这个 key 过期的时间点,单位是毫秒。

如果我们为上文的 mobile 增加一个过期时间。

1
>redis PEXPIREAT mobile 1521469812000

这个时候就会在过期的 字典中增加一个键值对。如下图:

db

对于过期的判断逻辑就很简单:

  1. 在 字典 expires 中 key 是否存在。
  2. 如果 key 存在,value 的时间戳是否小于当前系统时间戳。

接下来就需要讨论一下过期的键的删除策略。

key的删除有三种策略:

  1. 定时删除,Redis定时的删除内存里面所有过期的键值对,这样能够保证内存友好,过期的key都会被删除,但是如果key的数量很多,一次删除需要CPU运算,CPU不友好。
  2. 惰性删除,只有 key 在被调用的时候才去检查键值对是否过期,但是会造成内存中存储大量的过期键值对,内存不友好,但是极大的减轻CPU 的负担。
  3. 定时部分删除,Redis定时扫描过期键,但是只删除部分,至于删除多少键,根据当前 Redis 的状态决定。

这三种策略就是对时间和空间有不同的倾向。Redis为了平衡时间和空间,采用了后两种策略 惰性删除和定时部分删除。

惰性删除比较简单,不做过多介绍。主要讨论一下定时部分删除。

过期键的定时删除的策略由 expire.c/activeExpireCycle() 函数实现,server.c/serverCron() 定时的调用 activieExpireCycle()

activeExpireCycle 的大的操作原则是,如果过期的key比较少,则删除key的数量也比较保守,如果,过期的键多,删除key的策略就会很激进。

1
2
3
static unsigned int current_db = 0; 
static int timelimit_exit = 0;
static long long last_fast_cycle = 0;
  • 首先三个 static 全局参数分别记录目前遍历的 db下标,上一次删除是否是超时退出的,上一次快速操作是什么时候进行的。

  • 计算 timelimit = 1000000*ACTIVE_EXPIRE_CYCLE_SLOW_TIME_PERC/server.hz/100; 可以理解为 25% 的 cpu 时间。

  • 如果 db 中 expire 的大小为0 不操作

  • expire 占总 key 小于 1% 不操作

  • num = dictSize(db->expires);num 是 expire 使用的key的数量。

  • slots = dictSlots(db->expires); slots 是 expire 字典的尺寸大小。

  • 已使用的key(num) 大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 则设置为 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP。也就是说每次只检查 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 个键。

  • 随机获取带过期的 key。计算是否过期,如果过期就删除。

  • 然后各种统计,包括删除键的次数,平均过期时间。

  • 每遍历十六次,计算操作时间,如果超过 timelimit 结束返回。

  • 如果删除的过期键大于 ACTIVE_EXPIRE_CYCLE_LOOKUPS_PER_LOOP 的 1\4 就跳出循环,结束。

步骤比较复杂,总结一下:(这里都是以默认配置描述)

  1. redis 会用最多 25% 的 cpu 时间处理键的过期。
  2. 遍历所有的 redisDb
  3. 在每个 redisDb 中如果数据中没有过期键或者过期键比例过低就直接进入下一个 redisDb。
  4. 否则,遍历 redisDb 中的过期键,如果删除的键达到有过期时间的的key 的25% ,或者操作时间大于 cpu 时间的 25% 就结束当前循环,进入下一个redisDb。

后记

这篇文章主要解释了 Redis 的数据库是怎么实现的,同时介绍了 Redis 处理过期键的逻辑。看 Redis 的代码越多越发现,实际上 Redis 一直在做的一件事情就是平衡,一直在平衡程序的空间和时间。其实平时的业务设计,就是在宏观上平衡,平衡宏观系统的时间和空间。所以,看源码是让我们从微观学习系统架构的良好途径,是架构师的成长的必经之路。

我之前的三篇关于 Redis 的基础数据结构链接地址,欢迎大家阅读。

Redis 的基础数据结构(一) 可变字符串、链表、字典

Redis 的基础数据结构(二) 整数集合、跳跃表、压缩列表

Redis 的基础数据结构(三)对象

欢迎关注我的微信公众号:
二维码