惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Cisco Talos Blog
Cisco Talos Blog
Google DeepMind News
Google DeepMind News
Last Week in AI
Last Week in AI
P
Proofpoint News Feed
T
The Blog of Author Tim Ferriss
云风的 BLOG
云风的 BLOG
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
B
Blog RSS Feed
Y
Y Combinator Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Hacker News - Newest:
Hacker News - Newest: "LLM"
T
Tailwind CSS Blog
AWS News Blog
AWS News Blog
Jina AI
Jina AI
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Recorded Future
Recorded Future
NISL@THU
NISL@THU
N
Netflix TechBlog - Medium
雷峰网
雷峰网
Vercel News
Vercel News
Latest news
Latest news
S
Security @ Cisco Blogs
W
WeLiveSecurity
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Schneier on Security
Schneier on Security
IT之家
IT之家
Blog — PlanetScale
Blog — PlanetScale
L
Lohrmann on Cybersecurity
T
Tor Project blog
Hugging Face - Blog
Hugging Face - Blog
TaoSecurity Blog
TaoSecurity Blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
The Hacker News
The Hacker News
J
Java Code Geeks
美团技术团队
MyScale Blog
MyScale Blog
Google DeepMind News
Google DeepMind News
aimingoo的专栏
aimingoo的专栏
H
Hacker News: Front Page
C
Cyber Attacks, Cyber Crime and Cyber Security
C
CERT Recently Published Vulnerability Notes
S
Secure Thoughts
Microsoft Security Blog
Microsoft Security Blog
C
CXSECURITY Database RSS Feed - CXSecurity.com
B
Blog
博客园 - 三生石上(FineUI控件)
The Register - Security
The Register - Security
G
Google Developers Blog
Webroot Blog
Webroot Blog

Mobility

从薅 token 到管 skill:我的 pks 工具落地实践 把笔记、微信读书、知乎装进 Obsidian:我基于llm-wiki知识中枢搭建实录 免费AI视频生成器:我如何用零成本做出带旁白字幕的多场景AI视频 Agnes免费模型真能白嫖视频?我改造了ViMax来试试 教你薅token(二):构建agent无关的skills管理工作流 教你薅token:构建agent无关的AI工作流 用 AI Agent 完成 Hexo 主题迁移:从 Next 到 Butterfly 的全自动化实践 Vercel封禁163邮箱后,我是怎么恢复博客的 用LLM管理安全开发规范:一次llm-wiki实践 Vaadin框架教程:Java工程师的前端开发秘籍 hexo多语言方案总结及最佳实践 知乎增强工具-评论时间精确到秒 怎么理解数据库的四个隔离级别 kubernetes是什么-实用向教程 怎么更科学的用知乎摸鱼 读书笔记《系统之美》,如何面对现实中的复杂问题 分布式系统设计中的通用方法 高并发解决方案很难吗?轻松聊清楚高并发设计 SSP,DSP,RTB,ADX都是什么? 讲讲互联网广告的概念与发展 从redolog,undolog到隔离级别,刨根问底,讲清楚事务和ACID java项目低学习成本使用kubernetes的实践经验 剧变中的2021-一个中年工程师的年终总结 kubernetes环境下做金丝雀发布的一种思路 prometheus教程: 一篇文章讲懂prometheus 实现一个简单的java版本高性能获取ip地址所属国家工具 iterm2配置ssh书签, 实现记住密码和自动登录 怎样做一个好的技术分享 云原生究竟是什么 读书笔记 稻盛和夫《干法》-思考应该怎样去工作 review的个人价值 户口?大厂?高薪?生活?聊聊应届程序员的职业选择 RPC接口将所有输入输出封装成类是合理设计吗 程序员做业务开发的价值 设计模式的原则,设计模式究竟是什么 我提升开发效率的经验 通过合理的设计降低软件开发复杂度 信息传播过程中的衰减 看房小记-2020北京学区 读书感悟:文明、现代化、价值投资与中国 读书笔记-我曾走在崩溃的边缘 [翻译][关于分布式架构和系统设计]分布式系统的模式-综述 redis里的数据结构 设计模式备忘录 聊聊程序员的职业生涯,我对程序员这个职业的理解 通过mysql批量操作不生效问题聊聊java里mysql的batch 【实践经验】单元测试怎么写 关于rocketmq的readQueue和writeQueue 数据分析的利器-clickhouse介绍 通过位运算转换大小写 activemq多线程消费的不同处理方式 高并发下作余额扣减的一些经验 java细节:三目运算符和自动拆箱 设计一个开源的北京地铁路线规划小工具 java版本 redis cluster的数据迁移 jstorm源码解析之循环任务AsyncLoopThread activemq特性之持久化 activemq的安装及基本使用 activemq系列-概述 hexo教程:博客系统搭建及部署到github jstorm的监控metrics数据输出到第三方存储介质 camel系列之camel debugger的使用 jstorm源码解析之bolt异常处理 log4j动态添加appender 【翻译】java里编写基准测试的一些经验 java线程池:获取运行线程数并控制线程启动速度 maven里的mirror和repository: 配置多repository 使用maven shade plugin 打可执行Jar包 activemq plugin开发指南及示例 通过加入classpath的形式实现命令行运行java程序时引入第三方jar包 解决fatjar的 “java.lang.SecurityException: Invalid signature file digest for Manifest main attributes” 问题 通过实际操作理解redis cluster原理 一种实现在hbase中存储set的思路 log4j2.xml配置示例及与log4j的区别 不实现equals方法的情况下比较java list 使用lua脚本和jedis实现redis的hmsetnx命令,操作hash表时不覆盖原有数据 vitualbox虚拟机安装centos 7 及ssh访问、自启动等配置 在java独立进程(standalone app)中嵌入hawtio监控 java日志系统简介: 从tomcat大量打印debug日志说起 Java kryo/protobuf/protostuff序列化 or Json 性能对比 java分布式锁入门实战 leetcode第三题: 输出不包含重复字母的最长子串 java多线程实现三个字母顺序输出 一次kafka空间激增排查:kafka的数据压缩、批量发送等 java里128有何魔力? 聊聊Integer的缓存 storm/jstorm生态与周边工具,storm连接activemq,kafka,hdfs等 jstorm UI 介绍 五分钟学会写storm代码: jstorm/storm编码原理与普通java程序的区别 activemq web console的权限配置 storm ui 中一些关键属性的含义 activemq 5.6 连接池的内存泄露问题 关于apache camel的消息转发效率 一篇不错的lda模型入门文档 wordcount代码 hadoop基本的学习资料
redis的对象
流沙 · 2020-08-08 · via Mobility

在上一篇文章中,介绍了redis的底层定义的一些数据结构。接下来,在本文中,我们就结合redis提供的对象,看看这些数据结构是如何使用的。

Redis中主要包括这些对象:字符串、列表、哈希、集合、有序集合、HyperLogLog、GEO等,本文会主要介绍这些对象是如何实现的,对于其命令,可以参考redis官网中对每个命令的说明,这里就不一个一个列了。

在介绍具体的对象之前,先看一下redis中对于对象本身的定义。

1
2
3
4
5
6
7
8
9
typedef struct redisObject {
unsigned type:4;
unsigned encoding:4;
unsigned lru:LRU_BITS;


int refcount;
void *ptr;
} robj;

在一个redisObject中,prt字段就是数据的实际内容,这里的存储会应用之前讲的redis的底层数据结构。可以看到,ptr是作为引用出现在redisObject中,也就是说,redisObject本身和实际数据本身内存可能不在一起。

通过 OBJECT ENCODING KEY 这个命令,可以查看一个key底层实际使用的数据结构。

接下来,我们就具体讲一下各个对象。

字符串

字符串可以说是redis中最基本的一个对象类型了,set 一个普通的key,value,使用的就是字符串对象。字符串对象根据具体情况,会使用int, embstr, raw三种类型的底层编码方式。其中int很好理解,在字符串的值是数字时,就会使用int存储。embstr和raw的底层结构都是简单动态字符串(SDS),区别在于,embstr中,redisObject和实际存储的SDS在连续的内存空间上。embstr的使用场景是字符串小于等于39字节(如无特别说明,本文中的数值都是使用redis的默认配置),大于39字节时,则使用raw编码。

列表对象

即list, redis中的list是一个双向队列,提供左右两侧的push,pop操作,range操作等。

list的底层实现可以是ziplist或者链表。上一篇文章中,我们介绍了ziplist是一种针对小数据集的,非常高效的数据结构。因此,在使用时,很自然的可以想到,小的list就会用ziplist实现,大的list则用链表实现。对于什么样的列表才算小,redis里使用两个判断标准,一是list中每个元素的最大长度,对应配置list-max-ziplist-value, 二是list中的元素数,对应配置list-max-ziplist-entries。

list的实际应用场景其实就是对双向队列的利用场景,比如微信朋友圈的时间线就可以通过list实现。有时候,也会拿redis的list用作消息队列。

哈希

即我们通常所说的map,与列表对象list, 哈希也会根据数据集的大小选用两个不同的底层结构,分别是ziplist和hashTable(底层是字典)。

这里可以引申出一个小技巧,当我们需要在redis中存储object时,可以使用hash,而非序列化成字符串存储。因为对于一个正常的object来说,是会被通过ziplist存储的。这样,就通过非常小的资源开销实现了对单个字段的get/set.

集合对象

即set, 对应redis中的S系列命令,如SADD,SMEMBERS等,也就是元素不重复的”集合”。同样的,redis的集合也有两种实现方式,分别是intset和hashTable.

redis的集合提供了非常方便的求交集、并集、差集等的方法,可以用在查询共同好友等场景中。

有序集合

对应redis中的Z系列命令,如ZADD,ZRANK等,底层的实现对应ziplist或者skiplist。期数,看完上一篇文章中对于这两个数据结构的介绍,我们是可以很容易的理解redis是如何实现有序集合的。

有序集合也是一种很常用的对象,可以用在排行榜、topK等问题中。

HyperLogLog

redis中的hyperLogLog是一个用于基数统计的结构,即统计不重复元素的个数。它的实现是基于概率算法,通过一定概率的误差,在对空间使用非常小的情况下,实现对大数据量的统计。其具体算法非常精妙,我后边会单开一篇文章介绍。这里就先介绍下它的效果,HyperLogLog可以使用12k的空间统计2的64次方的数据,标准误差在0.81%。

Redis中使用HyperLogLog非常简单,只包含三条命令,PFADD添加元素,PFCOUNT获取当前基数,PFMERGE对多个HyperLogLog进行合并。

GEO

顾名思义,redis中的geo就是一种用来处理位置相关信息的结构。redis中的geo对象提供了添加、查看位置信息,计算两个位置间的距离,查找范围内的元素这些功能。

Geo的底层基于zset实现。其核心处理在于通过GeoHash算法将二维的经纬度编码成一维的hash值,同时还能保住经纬度本身越接近的值,hash值也越接近。GeoHash的细节我们也在后续文章中专门做介绍。经过GeoHash做编码后,就可以利用zset本身的功能来做范围查找等事情了。

现在很多互联网服务的位置服务会选择使用redis来实现,比如附近的人,附近的餐厅。

通过上边的介绍,希望可以帮助大家更好的理解和使用redis。可以看到,redis里针对一些特定情况,进行了非常极致的内存优化,而我们在使用时,就要考虑如何更好的去利用这些优化。

原文地址: https://lichuanyang.top/posts/25564/