惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

大猫的无限游戏
大猫的无限游戏
Webroot Blog
Webroot Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
T
Threat Research - Cisco Blogs
V2EX - 技术
V2EX - 技术
L
LINUX DO - 热门话题
Google DeepMind News
Google DeepMind News
Recorded Future
Recorded Future
S
Schneier on Security
I
InfoQ
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
The GitHub Blog
The GitHub Blog
S
Security @ Cisco Blogs
O
OpenAI News
W
WeLiveSecurity
Vercel News
Vercel News
阮一峰的网络日志
阮一峰的网络日志
Simon Willison's Weblog
Simon Willison's Weblog
人人都是产品经理
人人都是产品经理
Cloudbric
Cloudbric
The Last Watchdog
The Last Watchdog
The Hacker News
The Hacker News
Google Online Security Blog
Google Online Security Blog
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
GbyAI
GbyAI
NISL@THU
NISL@THU
T
Tailwind CSS Blog
V
Visual Studio Blog
PCI Perspectives
PCI Perspectives
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Jina AI
Jina AI
D
DataBreaches.Net
B
Blog RSS Feed
N
News and Events Feed by Topic
N
News and Events Feed by Topic
H
Heimdal Security Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
腾讯CDC
Latest news
Latest news
V
Vulnerabilities – Threatpost
Hacker News: Ask HN
Hacker News: Ask HN
WordPress大学
WordPress大学
V
V2EX
aimingoo的专栏
aimingoo的专栏
博客园 - 司徒正美
Apple Machine Learning Research
Apple Machine Learning Research
D
Darknet – Hacking Tools, Hacker News & Cyber Security
The Register - Security
The Register - Security
Help Net Security
Help Net Security

Mobility

从薅 token 到管 skill:我的 pks 工具落地实践 把笔记、微信读书、知乎装进 Obsidian:我基于llm-wiki知识中枢搭建实录 免费AI视频生成器:我如何用零成本做出带旁白字幕的多场景AI视频 Agnes免费模型真能白嫖视频?我改造了ViMax来试试 教你薅token(二):构建agent无关的skills管理工作流 教你薅token:构建agent无关的AI工作流 用 AI Agent 完成 Hexo 主题迁移:从 Next 到 Butterfly 的全自动化实践 Vercel封禁163邮箱后,我是怎么恢复博客的 用LLM管理安全开发规范:一次llm-wiki实践 Vaadin框架教程:Java工程师的前端开发秘籍 hexo多语言方案总结及最佳实践 知乎增强工具-评论时间精确到秒 怎么理解数据库的四个隔离级别 kubernetes是什么-实用向教程 怎么更科学的用知乎摸鱼 读书笔记《系统之美》,如何面对现实中的复杂问题 分布式系统设计中的通用方法 高并发解决方案很难吗?轻松聊清楚高并发设计 SSP,DSP,RTB,ADX都是什么? 讲讲互联网广告的概念与发展 从redolog,undolog到隔离级别,刨根问底,讲清楚事务和ACID java项目低学习成本使用kubernetes的实践经验 剧变中的2021-一个中年工程师的年终总结 kubernetes环境下做金丝雀发布的一种思路 prometheus教程: 一篇文章讲懂prometheus 实现一个简单的java版本高性能获取ip地址所属国家工具 iterm2配置ssh书签, 实现记住密码和自动登录 怎样做一个好的技术分享 云原生究竟是什么 读书笔记 稻盛和夫《干法》-思考应该怎样去工作 review的个人价值 户口?大厂?高薪?生活?聊聊应届程序员的职业选择 RPC接口将所有输入输出封装成类是合理设计吗 程序员做业务开发的价值 设计模式的原则,设计模式究竟是什么 我提升开发效率的经验 通过合理的设计降低软件开发复杂度 信息传播过程中的衰减 看房小记-2020北京学区 读书感悟:文明、现代化、价值投资与中国 读书笔记-我曾走在崩溃的边缘 [翻译][关于分布式架构和系统设计]分布式系统的模式-综述 redis里的数据结构 设计模式备忘录 聊聊程序员的职业生涯,我对程序员这个职业的理解 通过mysql批量操作不生效问题聊聊java里mysql的batch 【实践经验】单元测试怎么写 关于rocketmq的readQueue和writeQueue 数据分析的利器-clickhouse介绍 通过位运算转换大小写 activemq多线程消费的不同处理方式 高并发下作余额扣减的一些经验 java细节:三目运算符和自动拆箱 设计一个开源的北京地铁路线规划小工具 java版本 redis cluster的数据迁移 jstorm源码解析之循环任务AsyncLoopThread activemq特性之持久化 activemq的安装及基本使用 activemq系列-概述 hexo教程:博客系统搭建及部署到github jstorm的监控metrics数据输出到第三方存储介质 camel系列之camel debugger的使用 jstorm源码解析之bolt异常处理 log4j动态添加appender 【翻译】java里编写基准测试的一些经验 java线程池:获取运行线程数并控制线程启动速度 maven里的mirror和repository: 配置多repository 使用maven shade plugin 打可执行Jar包 activemq plugin开发指南及示例 通过加入classpath的形式实现命令行运行java程序时引入第三方jar包 解决fatjar的 “java.lang.SecurityException: Invalid signature file digest for Manifest main attributes” 问题 通过实际操作理解redis cluster原理 一种实现在hbase中存储set的思路 log4j2.xml配置示例及与log4j的区别 不实现equals方法的情况下比较java list 使用lua脚本和jedis实现redis的hmsetnx命令,操作hash表时不覆盖原有数据 vitualbox虚拟机安装centos 7 及ssh访问、自启动等配置 在java独立进程(standalone app)中嵌入hawtio监控 java日志系统简介: 从tomcat大量打印debug日志说起 Java kryo/protobuf/protostuff序列化 or Json 性能对比 java分布式锁入门实战 leetcode第三题: 输出不包含重复字母的最长子串 java多线程实现三个字母顺序输出 一次kafka空间激增排查:kafka的数据压缩、批量发送等 java里128有何魔力? 聊聊Integer的缓存 storm/jstorm生态与周边工具,storm连接activemq,kafka,hdfs等 jstorm UI 介绍 五分钟学会写storm代码: jstorm/storm编码原理与普通java程序的区别 activemq web console的权限配置 storm ui 中一些关键属性的含义 activemq 5.6 连接池的内存泄露问题 关于apache camel的消息转发效率 一篇不错的lda模型入门文档 wordcount代码 hadoop基本的学习资料
redis的对象
流沙 · 2020-08-08 · via Mobility

在上一篇文章中,介绍了redis的底层定义的一些数据结构。接下来,在本文中,我们就结合redis提供的对象,看看这些数据结构是如何使用的。

Redis中主要包括这些对象:字符串、列表、哈希、集合、有序集合、HyperLogLog、GEO等,本文会主要介绍这些对象是如何实现的,对于其命令,可以参考redis官网中对每个命令的说明,这里就不一个一个列了。

在介绍具体的对象之前,先看一下redis中对于对象本身的定义。

1
2
3
4
5
6
7
8
9
typedef struct redisObject {
unsigned type:4;
unsigned encoding:4;
unsigned lru:LRU_BITS;


int refcount;
void *ptr;
} robj;

在一个redisObject中,prt字段就是数据的实际内容,这里的存储会应用之前讲的redis的底层数据结构。可以看到,ptr是作为引用出现在redisObject中,也就是说,redisObject本身和实际数据本身内存可能不在一起。

通过 OBJECT ENCODING KEY 这个命令,可以查看一个key底层实际使用的数据结构。

接下来,我们就具体讲一下各个对象。

字符串

字符串可以说是redis中最基本的一个对象类型了,set 一个普通的key,value,使用的就是字符串对象。字符串对象根据具体情况,会使用int, embstr, raw三种类型的底层编码方式。其中int很好理解,在字符串的值是数字时,就会使用int存储。embstr和raw的底层结构都是简单动态字符串(SDS),区别在于,embstr中,redisObject和实际存储的SDS在连续的内存空间上。embstr的使用场景是字符串小于等于39字节(如无特别说明,本文中的数值都是使用redis的默认配置),大于39字节时,则使用raw编码。

列表对象

即list, redis中的list是一个双向队列,提供左右两侧的push,pop操作,range操作等。

list的底层实现可以是ziplist或者链表。上一篇文章中,我们介绍了ziplist是一种针对小数据集的,非常高效的数据结构。因此,在使用时,很自然的可以想到,小的list就会用ziplist实现,大的list则用链表实现。对于什么样的列表才算小,redis里使用两个判断标准,一是list中每个元素的最大长度,对应配置list-max-ziplist-value, 二是list中的元素数,对应配置list-max-ziplist-entries。

list的实际应用场景其实就是对双向队列的利用场景,比如微信朋友圈的时间线就可以通过list实现。有时候,也会拿redis的list用作消息队列。

哈希

即我们通常所说的map,与列表对象list, 哈希也会根据数据集的大小选用两个不同的底层结构,分别是ziplist和hashTable(底层是字典)。

这里可以引申出一个小技巧,当我们需要在redis中存储object时,可以使用hash,而非序列化成字符串存储。因为对于一个正常的object来说,是会被通过ziplist存储的。这样,就通过非常小的资源开销实现了对单个字段的get/set.

集合对象

即set, 对应redis中的S系列命令,如SADD,SMEMBERS等,也就是元素不重复的”集合”。同样的,redis的集合也有两种实现方式,分别是intset和hashTable.

redis的集合提供了非常方便的求交集、并集、差集等的方法,可以用在查询共同好友等场景中。

有序集合

对应redis中的Z系列命令,如ZADD,ZRANK等,底层的实现对应ziplist或者skiplist。期数,看完上一篇文章中对于这两个数据结构的介绍,我们是可以很容易的理解redis是如何实现有序集合的。

有序集合也是一种很常用的对象,可以用在排行榜、topK等问题中。

HyperLogLog

redis中的hyperLogLog是一个用于基数统计的结构,即统计不重复元素的个数。它的实现是基于概率算法,通过一定概率的误差,在对空间使用非常小的情况下,实现对大数据量的统计。其具体算法非常精妙,我后边会单开一篇文章介绍。这里就先介绍下它的效果,HyperLogLog可以使用12k的空间统计2的64次方的数据,标准误差在0.81%。

Redis中使用HyperLogLog非常简单,只包含三条命令,PFADD添加元素,PFCOUNT获取当前基数,PFMERGE对多个HyperLogLog进行合并。

GEO

顾名思义,redis中的geo就是一种用来处理位置相关信息的结构。redis中的geo对象提供了添加、查看位置信息,计算两个位置间的距离,查找范围内的元素这些功能。

Geo的底层基于zset实现。其核心处理在于通过GeoHash算法将二维的经纬度编码成一维的hash值,同时还能保住经纬度本身越接近的值,hash值也越接近。GeoHash的细节我们也在后续文章中专门做介绍。经过GeoHash做编码后,就可以利用zset本身的功能来做范围查找等事情了。

现在很多互联网服务的位置服务会选择使用redis来实现,比如附近的人,附近的餐厅。

通过上边的介绍,希望可以帮助大家更好的理解和使用redis。可以看到,redis里针对一些特定情况,进行了非常极致的内存优化,而我们在使用时,就要考虑如何更好的去利用这些优化。

原文地址: https://lichuanyang.top/posts/25564/