惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

F
Full Disclosure
Recorded Future
Recorded Future
T
Tenable Blog
S
Securelist
C
CERT Recently Published Vulnerability Notes
T
Threatpost
S
Schneier on Security
A
Arctic Wolf
The Hacker News
The Hacker News
C
CXSECURITY Database RSS Feed - CXSecurity.com
Know Your Adversary
Know Your Adversary
P
Privacy International News Feed
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
The Register - Security
The Register - Security
Cisco Talos Blog
Cisco Talos Blog
AWS News Blog
AWS News Blog
K
Kaspersky official blog
T
True Tiger Recordings
T
Threat Research - Cisco Blogs
V
Vulnerabilities – Threatpost
P
Palo Alto Networks Blog
T
The Exploit Database - CXSecurity.com
小众软件
小众软件
B
Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Microsoft Azure Blog
Microsoft Azure Blog
Cyberwarzone
Cyberwarzone
C
Cybersecurity and Infrastructure Security Agency CISA
T
Tor Project blog
Spread Privacy
Spread Privacy
Malwarebytes
Malwarebytes
P
Proofpoint News Feed
F
Fox-IT International blog
F
Fortinet All Blogs
P
Privacy & Cybersecurity Law Blog
G
GRAHAM CLULEY
量子位
Latest news
Latest news
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
博客园 - 叶小钗
Project Zero
Project Zero
T
Tailwind CSS Blog
N
Netflix TechBlog - Medium
Martin Fowler
Martin Fowler
IntelliJ IDEA : IntelliJ IDEA – the Leading IDE for Professional Development in Java and Kotlin | The JetBrains Blog
IntelliJ IDEA : IntelliJ IDEA – the Leading IDE for Professional Development in Java and Kotlin | The JetBrains Blog
I
Intezer
博客园_首页
腾讯CDC
H
Hackread – Cybersecurity News, Data Breaches, AI and More
D
Darknet – Hacking Tools, Hacker News & Cyber Security

Redis

[程序员] 发现一个支持云同步的 Redis GUI 工具: RedisViewer 阿里云 Redis 命中率计算与监控的问题 Redis 运行一段时间后报错导致挂掉,有什么办法解决呢? Redis Stream 实现 MQ 的可行性 Redis 缓存数据 支持 WinXP/2003 的 Redis 服务端 怎么才能学好 redis,有什么好的教程或者 blog 推荐吗? 线上服务 redis 查询超时排查求教 有木有安卓 app 的 client 端呀? 除了 Tiny RDM 之外还有什么比较好用的 Redis GUI 工具么? Redis 支持 Hash 字段单独设置过期时间 Redis 加上密码后,整体性能下降 20%? 新学 redis 集群的疑惑 Garnet 真比 Redis 快吗? Redis 几乎每小时都出现大量超时,求助 问一下大家 redis 的配置 Redis 怎样将字节串传递给 lua 脚本? 微软 Garnet 的发展前景如何,有没有可能替代 Redis? 业内有没有把 redis 开启 aof=always 当做数据库使用的? 有谁试过 redis 的 string 自增性能吗, 我这怎么是个位数? 突然想起一个问题,你们用的 redis 有崩过吗?是什么原因崩的? 关联表查询结果的 Redis 缓存如何设计 API 请求如何方便的做并发测试? 请教兄弟们一个问题, datagrip 连接 redis 如何显示 redis 键的 过期时间呢? 关于 Redis RESP3 的想法 轻便式 Redis Monitor 面向研发人员图形可视化监控平台 Redis 中使用 pipeline 执行命令时,有单次执行数量的限制吗? [故障模拟]redis cluster 3 机 3 主 6 从,主节点都转移到了其中一台机器上,然后这台机器宕机 你们现在连接 redis 集群是用的什么工具,可以分享一下下载链接吗? 求教一下 Redis 哨兵模式下,主从延迟问题 想问下大佬 40M 的字符串适合放到 redis 缓存吗? redis 有时取不到值 redis 集群中 执行事务 或者 lua 脚本 涉及到多个 key 时,这些 key 要求在同一个节点还是同一个 slot? redis 7 所有命令都是原子的吗? Redis 是鸡肋吗? Redis 服务挂了,一段时间后又恢复,不会造成缓存与数据库不一致吗? 为什么 MySQL 有缓存,还要使用 Redis? 关于缓存一致性问题,不知道我这个方案是否可行 redis 集群获取不到连接 用 redis 直接替换 app/物联网的 mq 服务器的可行性大吗?怎么对客户端进行限制 redis 怎么裁剪 zset 只保留排名前 100 的数据 缓存失效后先返回再触发更新的场景要怎么处理? 关于 redis 一个小问题(随机性) 求教大佬,线上 redis cluster 中适合使用 redis lua script 吗?以及使用时有什么注意事项? 怎么使用命令批量删除匹配的 key 值? 关于消息推送方案的讨论 Redis 的 zset 按 score 排序做分页的时候怎么保证数据不丢失? redis 的 zset 如果打散成多个 zset 的话,如果要分页查询怎么处理呢? 关于社区场景下,用户已读文章不再推荐这种需求实现方案的探讨 一个 abtest 实验中 redis 设计的思考
对 redis 的 zset 做分片的时候怎么选择分片个数
ben548 · 2023-07-08 · via Redis
fkdtz

6

fkdtz      2023 年 7 月 8 日

这是一个典型的大 key 热 key 场景,不管是否存在推送慢的情况,可能分片都是应该做的。
楼主的思路我感觉没啥问题,成本也是最低的。
至于考虑到订阅计数器的单独维护问题,我觉得这点成本是应该的,毕竟你分片之后对于热门活动不可能在线上实时 zcount 1024 个分片吧,那也太慢了。
尽量保持线上业务快速响应,很多活可以异步处理,比如这个计数器就可以异步执行,不需要实时增加,不影响线上业务响应。

实际上我理解最好是特殊情况特殊处理,不需要一视同仁给所有活动都分片,可以动态地给大 key 做分片,不过一旦涉及到动态就会引入更多复杂的逻辑例如 rehash 或是引入哈希环等等,展开来就有更多东西可以讨论了,这个场景下有点舍本逐末就算了吧。

另外我觉得这个场景用 bitmap 不太合适,用户量级在百万级,那么单个 bitmap 的大小至少要上 M ,也算是大 key 了,而且很多绝大部分的活动都是冷门的,意味着 bitmap 中绝大部分都是非常稀疏的,这么搞不太划算。
我认知里 bitmap 更适合全体用户都参与的场景,例如是否活跃、是否在线等等吧。

一些临时的想法可能有不太合适的地方,可以一起讨论

ben123321

7

ben123321      2023 年 7 月 8 日

随便解答下,看看是否能满足条件:
1. 增加一个大活动的 list ,用于存储哪些活动是大活动,只有进入了该 list ,才会走分片逻辑。这样其实已经保证了只有「非常小」一部分的活动需要做分片。
2. 针对大活动的 list ,维护一个 count key 。
3. 把大活动 list 推到 local cache 中,让判断损耗下降为 0 。
4. 如何从小活动转换成大活动?异步任务写分片数据,然后再加入到大 list 中。
5. 大活动如何变成小活动?不支持,因为这个概率实在太小。

以上。