惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园_首页
PCI Perspectives
PCI Perspectives
H
Help Net Security
爱范儿
爱范儿
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
雷峰网
雷峰网
S
Secure Thoughts
Jina AI
Jina AI
Attack and Defense Labs
Attack and Defense Labs
大猫的无限游戏
大猫的无限游戏
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
S
Security @ Cisco Blogs
阮一峰的网络日志
阮一峰的网络日志
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Recent Commits to openclaw:main
Recent Commits to openclaw:main
The Hacker News
The Hacker News
The Last Watchdog
The Last Watchdog
T
Tor Project blog
小众软件
小众软件
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 叶小钗
博客园 - 【当耐特】
G
Google Developers Blog
Hacker News - Newest:
Hacker News - Newest: "LLM"
C
Cyber Attacks, Cyber Crime and Cyber Security
C
Cisco Blogs
T
The Blog of Author Tim Ferriss
I
Intezer
S
Schneier on Security
S
Securelist
W
WeLiveSecurity
C
Cybersecurity and Infrastructure Security Agency CISA
P
Palo Alto Networks Blog
Scott Helme
Scott Helme
Project Zero
Project Zero
Google Online Security Blog
Google Online Security Blog
T
Threatpost
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Engineering at Meta
Engineering at Meta
Blog — PlanetScale
Blog — PlanetScale
V
Visual Studio Blog
Last Week in AI
Last Week in AI
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
人人都是产品经理
人人都是产品经理
Y
Y Combinator Blog
A
Arctic Wolf
GbyAI
GbyAI
H
Hackread – Cybersecurity News, Data Breaches, AI and More
L
LangChain Blog

土法炼钢兴趣小组的算法知识备份

国密算法与国密 TLS 系列索引 【系统架构设计】架构质量属性:不只是"高可用高性能" 【系统架构设计百科】告警策略:如何避免"狼来了" 【系统架构设计】CQRS:读写分离的架构哲学 【系统架构设计】空间架构:极端扩展场景的解法 【系统架构设计】微服务架构深度审视:优势、代价与适用边界 【系统架构设计】扩展性原理:水平、垂直与对角扩展 【系统架构设计】无状态设计:扩展的第一步也是最难的一步 【系统架构设计】缓存架构:从本地到分布式的多级缓存体系 【系统架构设计】管道与过滤器:Unix 哲学的架构表达 【系统架构设计】复杂性管理:架构的核心战场 【系统架构设计】消息队列架构:异步解耦的设计与陷阱 【系统架构设计】CDN 架构:全球加速的设计原理 【系统架构设计】连接池设计:被忽视的性能杀手 【系统架构设计】弹性设计模式:熔断器、舱壁与超时 【系统架构设计】高可用设计模式:冗余、故障转移与仲裁 【系统架构设计】容量规划:从拍脑袋到数据驱动 【系统架构设计】数据库扩展:分库分表的工程实践与替代方案 【系统架构设计】SLO 工程:可靠性的量化管理 【系统架构设计】性能建模:用数学思维分析系统瓶颈 【系统架构设计】混沌工程:主动验证系统的韧性 【系统架构设计】零拷贝与内存映射:数据搬运的极致优化 【系统架构设计】线程模型:从 thread-per-request 到协程 【系统架构设计】容灾架构:多活与灾备设计 【系统架构设计】数据库性能模式:索引、查询与连接管理 【系统架构设计】数据建模:从关系范式到文档模型的真实权衡 【系统架构设计】吞吐量优化:批处理、流水线与并发模型 【系统架构设计】流处理架构:从批处理到实时的范式迁移 【系统架构设计】搜索引擎架构:倒排索引之上的系统设计 【系统架构设计】时序数据架构:监控与 IoT 的存储设计 【系统架构设计】数据迁移与版本化:在线不停机的数据演进 【系统架构设计】数据湖与数据仓库:分析架构的演进路线 【系统架构设计】API 网关设计:入口层的职责边界 【系统架构设计】应用层数据一致性模式:在正确性与性能之间走钢丝 【系统架构设计】多模数据库选型:Polyglot Persistence 的工程实践 【系统架构设计】服务发现与注册:动态拓扑的基础设施 【系统架构设计】配置管理架构:从配置文件到配置中心 【系统架构设计】全链路压测:大规模系统的性能验证 【系统架构设计】幂等性设计:分布式环境下的安全重试 【系统架构设计】契约测试与 Schema 演进:服务间的信任协议 【系统架构设计】长连接与推送架构:WebSocket、SSE 与 MQTT 【系统架构设计】延迟分析:从 P50 到 P999 的全链路追踪 【系统架构设计百科】DDD 战术模式:聚合、实体与值对象 【系统架构设计百科】防腐层与开放主机服务:系统集成的 DDD 方案 【系统架构设计百科】领域事件与事件风暴:从业务到架构的桥梁 【系统架构设计百科】CQRS + Event Sourcing 完整实战:从领域建模到部署 【系统架构设计百科】DDD 与微服务:用领域模型划分服务边界 【系统架构设计】DDD 战略设计:限界上下文与上下文映射 【系统架构设计百科】认证架构:从 Session 到 JWT 到 OIDC 【系统架构设计】API 设计哲学:REST vs GraphQL vs gRPC 的真实权衡 排序算法专题:从 TimSort 到并行排序 【密码学百科】国密算法体系:SM2/SM3/SM4/SM9 全景解读 【密码学百科】承诺方案:Pedersen 承诺、向量承诺与多项式承诺 【密码学百科】不经意传输与隐私信息检索:OT、OT 扩展与 PIR 【密码学百科】门限密码学:门限签名、门限解密与分布式密钥生成 完美哈希:从理论到 gperf 实践 【密码学百科】安全多方计算:从 Yao 的混淆电路到实用 MPC 【密码学百科】同态加密:从 Paillier 到全同态加密(FHE) 【密码学百科】零知识证明系统:zk-SNARKs、zk-STARKs 与 Bulletproofs 【密码学百科】概率论与密码分析:生日攻击、差分分析与线性分析 【密码学百科】计算复杂性与归约:密码安全性证明的基石 【密码学百科】秘密共享:Shamir 方案、VSS 与安全多方计算入口 【密码学百科】椭圆曲线代数:Weierstrass 方程、点群运算与曲线选择 【密码学百科】离散对数与配对密码学:从 DLP 到 BLS 签名 【密码学百科】格密码数学基础:SVP、LWE 与格基约化 【密码学百科】抽象代数:群、环、域的密码学视角 【密码学百科】有限域算术:GF(2^n) 运算与在 AES/ECC 中的应用 【密码学百科】数论进阶:二次剩余、椭圆曲线上的 Weil 配对 【密码学百科】密码学简史:从凯撒密码到量子时代 【密码学百科】威胁模型与安全目标:CIA 三要素之外 【密码学百科】Kerckhoffs 原则与现代密码设计哲学 【密码学百科】随机性:密码学的基石 【密码学百科】信息论入门:熵、完美保密与 Shannon 定理 【密码学百科】分组密码原理:Feistel 网络与 SPN 结构 【密码学百科】AES 逐步拆解:SubBytes 到 MixColumns 的数学 【密码学百科】分组密码工作模式全览:ECB/CBC/CTR/OFB/CFB 【密码学百科】流密码:RC4 的兴衰与 ChaCha20 的崛起 【密码学百科】密码学哈希函数:MD5→SHA-2→SHA-3 的进化之路 【密码学百科】MAC 与 HMAC:消息认证的正确姿势 【密码学百科】认证加密(AEAD):GCM、ChaCha20-Poly1305 与 OCB 【密码学百科】密钥派生函数:HKDF、PBKDF2、Argon2 与密码存储 【密码学百科】公钥密码的数论基础:模运算、群、原根 【密码学百科】RSA 从原理到攻击:教科书 RSA 为什么不安全 【密码学百科】Diffie-Hellman 密钥交换与离散对数问题 【密码学百科】椭圆曲线密码学(ECC):从几何直觉到点群运算 【密码学百科】数字签名:ECDSA、EdDSA 与 Schnorr 签名 【密码学百科】现代密钥交换:X25519、ECDHE 与前向保密 【密码学百科】混合加密与 KEM/DEM 范式:ECIES 与 HPKE 【密码学百科】填充方案:PKCS#1 v1.5、OAEP 与 PSS 【密码学百科】TLS 协议全解析:从握手到 0-RTT 【密码学百科】PKI 与数字证书:信任链的构建与崩塌 【密码学百科】密码认证协议:从 SRP 到 OPAQUE 【密码学百科】零知识证明入门:如何证明你知道而不泄露 【密码学百科】安全信道构造:Noise 协议框架与 Signal 协议 【密码学百科】密钥管理工程:HSM、KMS 与密钥生命周期 【密码学百科】侧信道攻击:从时序攻击到功耗分析 【密码学百科】密码学实现陷阱:三层漏洞分类、审计工具链与系统性预防 密码敏捷性:如何设计可升级的密码系统 【密码学百科】OpenSSL/BoringSSL 架构剖析:ENGINE、Provider 与 FIPS 模块 排序基准测试:用数据说话
【操作系统百科】Slab/SLUB 分配器
2026-05-03 · via 土法炼钢兴趣小组的算法知识备份

内核里到处是小对象:task_struct、inode、dentry、sk_buff、bio……它们几十到几百字节,如果每次都向 buddy 要一整页太浪费。slab 层把一页切成多个”对象槽”,复用已分配的页。

一、先看图

flowchart TD
    KMALLOC[kmalloc 64 字节] --> CACHE[kmem_cache<br/>size=64]
    CACHE --> PCPU{per-CPU<br/>freelist?}
    PCPU -->|有| OBJ[返回 object]
    PCPU -->|无| PARTIAL[partial slab<br/>页]
    PARTIAL -->|有空槽| OBJ
    PARTIAL -->|无| BUDDY[buddy alloc<br/>新 slab 页]
    BUDDY --> INIT[切成 N 个<br/>64 字节 slot]
    INIT --> OBJ
    classDef fast fill:#3fb95022,stroke:#3fb950,color:#adbac7;
    classDef slow fill:#f0883e22,stroke:#f0883e,color:#adbac7;
    class PCPU,OBJ fast
    class BUDDY,INIT slow

二、slab → SLUB → SLOB 简史

2.1 slab(1994)

Solaris 启发:per-cache 的 full / partial / empty 三链表 + coloring。复杂、管理结构占用大。

2.2 SLUB(2.6.22,2007)

Christoph Lameter 重写:

  • 无 full/empty 链表——只跟踪 partial
  • 对象元数据存在对象自身(空闲时 freelist 指针)
  • per-CPU freelist 替代 per-CPU slab
  • 代码量少一半、内存开销更低

6.x 唯一主力。

2.3 SLOB(已删除 6.4)

极简分配器,面向 <64KB RAM 嵌入式。6.4 后删除。

三、kmem_cache

每种对象类型一个 kmem_cache

struct kmem_cache *task_struct_cache;
task_struct_cache = kmem_cache_create("task_struct",
    sizeof(struct task_struct), __alignof__(struct task_struct),
    SLAB_PANIC|SLAB_ACCOUNT, NULL);

// 分配
struct task_struct *p = kmem_cache_alloc(task_struct_cache, GFP_KERNEL);
// 释放
kmem_cache_free(task_struct_cache, p);

kmalloc

通用分配器——底层是一组按 size class 的 kmem_cache:

kmalloc-8, kmalloc-16, kmalloc-32, ..., kmalloc-8192
void *p = kmalloc(100, GFP_KERNEL);  // 实际从 kmalloc-128 分配
kfree(p);

4.1 slab page

一个 slab 页(通常 order-0 或 order-1)被切成若干对象:

[ obj0 | obj1 | obj2 | ... | objN ]

空闲对象串成 freelist(在对象内部存 next 指针)。

4.2 per-CPU freelist

每 CPU 缓存一个”当前 slab”+ freelist。分配只需读 freelist 头——无锁(this_cpu_cmpxchg)。

4.3 partial 链表

CPU freelist 空了 → 从 node 的 partial 链表取一个 slab。SLUB_CPU_PARTIAL 控制缓存多少 partial。

4.4 冻结

partial slab 从 node 链表移到 CPU 本地时被”冻结”——其他 CPU 不能碰。减少争抢。

五、对齐与着色

  • 对象按 ARCH_SLAB_MINALIGN(通常 8/16 字节)对齐
  • KASAN 要求额外 redzone(对象前后的守卫区)
  • 缓存行着色(cache line coloring):同类 slab 的起始偏移不同,分散 cache 冲突

六、KASAN 集成

KASAN(Kernel Address SANitizer)在 SLUB 级别检测 UAF 和 OOB:

CONFIG_KASAN=y
CONFIG_KASAN_GENERIC=y     # 基于 shadow memory
CONFIG_KASAN_SW_TAGS=y     # arm64 tag-based
CONFIG_KASAN_HW_TAGS=y     # arm64 MTE

SLUB 分配时 poison 对象,释放后再 poison → 访问已释放内存触发 KASAN report。

七、SLUB_DEBUG

编译期 CONFIG_SLUB_DEBUG=y + 启动参数 slub_debug=FZPU

  • F:sanity check(double free、对象损坏)
  • Z:red zone(对象前后填充守卫值)
  • P:poison(释放后填充 0x6b/0xa5)
  • U:user tracking(记录分配调用栈)

生产一般不开(性能惩罚 2-10x)。调试时通过 slub_debug=FZP,kmalloc-64 只对特定 cache 开。

八、memcg 感知

cgroup v2 下 SLUB 支持 SLAB_ACCOUNT flag → 内核对象计入 memcg。

cat /sys/fs/cgroup/myapp/memory.stat | grep slab
# slab 12345678
# slab_reclaimable 8765432
# slab_unreclaimable 3580246

九、观察

# 所有 slab cache
cat /proc/slabinfo | head

# 或更友好的
slabtop -o

# 特定 cache
cat /sys/kernel/slab/kmalloc-256/objs_per_slab
cat /sys/kernel/slab/kmalloc-256/cpu_partial
cat /sys/kernel/slab/kmalloc-256/total_objects

# slab 总内存
cat /proc/meminfo | grep Slab
# Slab:           456000 kB
# SReclaimable:   300000 kB
# SUnreclaim:     156000 kB

十、常见问题

A:Slab 占用很高 检查 slabtop 看哪个 cache 大——常见:dentry_cache、inode_cache(文件系统 cache)。echo 2 > /proc/sys/vm/drop_caches 可回收,但不推荐生产常用。

B:slab leak kmemleak 工具扫描 slab 中没有引用指向的对象 → 可能泄漏。

C:KASAN report UAF in slab 看 report 的 alloc/free stack trace,定位生命周期管理 bug。

十一、小结

  • SLUB 是 buddy 之上的对象缓存层
  • per-CPU freelist 让分配几乎无锁
  • kmalloc 按 size class 走预置的 kmem_cache
  • KASAN + SLUB_DEBUG 是内核内存 bug 的主力检测
  • memcg 感知让容器可以限制内核 slab 使用

参考文献

  • Bonwick, J. “The Slab Allocator: An Object-Caching Kernel Memory Allocator.” USENIX 1994
  • Christoph Lameter, “SLUB: The Unqueued Slab Allocator.” 2007
  • mm/slub.c
  • Documentation/mm/slub.rst
  • include/linux/slab.h

工具

  • /proc/slabinfoslabtop
  • /sys/kernel/slab/
  • slub_debug= boot param
  • kmemleak
  • perf kmem

延伸阅读


上一篇Buddy 系统 下一篇vmalloc/kmap/ioremap

同主题继续阅读

把当前热点继续串成多页阅读,而不是停在单篇消费。

2026-05-06 · os

【操作系统百科】内核内存调试

内核内存 bug 是最难追的:UAF、OOB、double free、leak 都可能沉默数月。本文讲 KASAN 三种模式、KFENCE 生产采样、kmemleak、SLUB_DEBUG、UBSAN/KCSAN 联动。

2026-04-27 · os

【操作系统百科】内存回收

Linux 内存回收是 VM 最复杂的子系统之一。本文讲 active/inactive LRU、kswapd 与 direct reclaim、watermark 三线、swappiness 的真实含义、MGLRU 改造、memcg 回收与 PSI。

2026-04-28 · os

【操作系统百科】交换

swap 还值得开吗?本文讲 swap area 基础、swap cache、zram 压缩内存、zswap 前端压缩池、swappiness 的真实含义、容器里的 swap 策略,以及为什么现代 Android 全靠 zram 不靠磁盘。

2026-05-07 · os

【操作系统百科】用户态分配器

glibc malloc、tcmalloc、jemalloc、mimalloc 各有哲学。本文讲 arena、thread cache、size class、madvise 返还策略、碎片与 RSS 膨胀、如何根据负载选分配器。