惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Vercel News
Vercel News
Microsoft Azure Blog
Microsoft Azure Blog
Stack Overflow Blog
Stack Overflow Blog
Martin Fowler
Martin Fowler
Hacker News - Newest:
Hacker News - Newest: "LLM"
Cyberwarzone
Cyberwarzone
Recorded Future
Recorded Future
H
Hackread – Cybersecurity News, Data Breaches, AI and More
T
Threat Research - Cisco Blogs
Know Your Adversary
Know Your Adversary
Recent Announcements
Recent Announcements
L
LINUX DO - 热门话题
D
DataBreaches.Net
K
Kaspersky official blog
T
Threatpost
F
Full Disclosure
T
The Exploit Database - CXSecurity.com
C
CERT Recently Published Vulnerability Notes
S
Securelist
I
Intezer
有赞技术团队
有赞技术团队
罗磊的独立博客
爱范儿
爱范儿
S
Schneier on Security
P
Privacy & Cybersecurity Law Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Cisco Talos Blog
Cisco Talos Blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
L
LangChain Blog
美团技术团队
G
Google Developers Blog
T
Tor Project blog
Project Zero
Project Zero
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
The Hacker News
The Hacker News
W
WeLiveSecurity
Engineering at Meta
Engineering at Meta
Apple Machine Learning Research
Apple Machine Learning Research
aimingoo的专栏
aimingoo的专栏
PCI Perspectives
PCI Perspectives
L
LINUX DO - 最新话题
MyScale Blog
MyScale Blog
阮一峰的网络日志
阮一峰的网络日志
酷 壳 – CoolShell
酷 壳 – CoolShell
V
V2EX
Hugging Face - Blog
Hugging Face - Blog
P
Proofpoint News Feed
Webroot Blog
Webroot Blog
T
Troy Hunt's Blog

土法炼钢兴趣小组的算法知识备份

国密算法与国密 TLS 系列索引 【系统架构设计】架构质量属性:不只是"高可用高性能" 【系统架构设计百科】告警策略:如何避免"狼来了" 【系统架构设计】CQRS:读写分离的架构哲学 【系统架构设计】空间架构:极端扩展场景的解法 【系统架构设计】微服务架构深度审视:优势、代价与适用边界 【系统架构设计】扩展性原理:水平、垂直与对角扩展 【系统架构设计】无状态设计:扩展的第一步也是最难的一步 【系统架构设计】缓存架构:从本地到分布式的多级缓存体系 【系统架构设计】管道与过滤器:Unix 哲学的架构表达 【系统架构设计】复杂性管理:架构的核心战场 【系统架构设计】消息队列架构:异步解耦的设计与陷阱 【系统架构设计】CDN 架构:全球加速的设计原理 【系统架构设计】连接池设计:被忽视的性能杀手 【系统架构设计】弹性设计模式:熔断器、舱壁与超时 【系统架构设计】高可用设计模式:冗余、故障转移与仲裁 【系统架构设计】容量规划:从拍脑袋到数据驱动 【系统架构设计】数据库扩展:分库分表的工程实践与替代方案 【系统架构设计】SLO 工程:可靠性的量化管理 【系统架构设计】性能建模:用数学思维分析系统瓶颈 【系统架构设计】混沌工程:主动验证系统的韧性 【系统架构设计】零拷贝与内存映射:数据搬运的极致优化 【系统架构设计】线程模型:从 thread-per-request 到协程 【系统架构设计】容灾架构:多活与灾备设计 【系统架构设计】数据库性能模式:索引、查询与连接管理 【系统架构设计】数据建模:从关系范式到文档模型的真实权衡 【系统架构设计】吞吐量优化:批处理、流水线与并发模型 【系统架构设计】流处理架构:从批处理到实时的范式迁移 【系统架构设计】搜索引擎架构:倒排索引之上的系统设计 【系统架构设计】时序数据架构:监控与 IoT 的存储设计 【系统架构设计】数据迁移与版本化:在线不停机的数据演进 【系统架构设计】数据湖与数据仓库:分析架构的演进路线 【系统架构设计】API 网关设计:入口层的职责边界 【系统架构设计】应用层数据一致性模式:在正确性与性能之间走钢丝 【系统架构设计】多模数据库选型:Polyglot Persistence 的工程实践 【系统架构设计】服务发现与注册:动态拓扑的基础设施 【系统架构设计】配置管理架构:从配置文件到配置中心 【系统架构设计】全链路压测:大规模系统的性能验证 【系统架构设计】幂等性设计:分布式环境下的安全重试 【系统架构设计】契约测试与 Schema 演进:服务间的信任协议 【系统架构设计】长连接与推送架构:WebSocket、SSE 与 MQTT 【系统架构设计】延迟分析:从 P50 到 P999 的全链路追踪 【系统架构设计百科】DDD 战术模式:聚合、实体与值对象 【系统架构设计百科】防腐层与开放主机服务:系统集成的 DDD 方案 【系统架构设计百科】领域事件与事件风暴:从业务到架构的桥梁 【系统架构设计百科】CQRS + Event Sourcing 完整实战:从领域建模到部署 【系统架构设计百科】DDD 与微服务:用领域模型划分服务边界 【系统架构设计】DDD 战略设计:限界上下文与上下文映射 【系统架构设计百科】认证架构:从 Session 到 JWT 到 OIDC 【系统架构设计】API 设计哲学:REST vs GraphQL vs gRPC 的真实权衡 排序算法专题:从 TimSort 到并行排序 【密码学百科】国密算法体系:SM2/SM3/SM4/SM9 全景解读 【密码学百科】承诺方案:Pedersen 承诺、向量承诺与多项式承诺 【密码学百科】不经意传输与隐私信息检索:OT、OT 扩展与 PIR 【密码学百科】门限密码学:门限签名、门限解密与分布式密钥生成 完美哈希:从理论到 gperf 实践 【密码学百科】安全多方计算:从 Yao 的混淆电路到实用 MPC 【密码学百科】同态加密:从 Paillier 到全同态加密(FHE) 【密码学百科】零知识证明系统:zk-SNARKs、zk-STARKs 与 Bulletproofs 【密码学百科】概率论与密码分析:生日攻击、差分分析与线性分析 【密码学百科】计算复杂性与归约:密码安全性证明的基石 【密码学百科】秘密共享:Shamir 方案、VSS 与安全多方计算入口 【密码学百科】椭圆曲线代数:Weierstrass 方程、点群运算与曲线选择 【密码学百科】离散对数与配对密码学:从 DLP 到 BLS 签名 【密码学百科】格密码数学基础:SVP、LWE 与格基约化 【密码学百科】抽象代数:群、环、域的密码学视角 【密码学百科】有限域算术:GF(2^n) 运算与在 AES/ECC 中的应用 【密码学百科】数论进阶:二次剩余、椭圆曲线上的 Weil 配对 【密码学百科】密码学简史:从凯撒密码到量子时代 【密码学百科】威胁模型与安全目标:CIA 三要素之外 【密码学百科】Kerckhoffs 原则与现代密码设计哲学 【密码学百科】随机性:密码学的基石 【密码学百科】信息论入门:熵、完美保密与 Shannon 定理 【密码学百科】分组密码原理:Feistel 网络与 SPN 结构 【密码学百科】AES 逐步拆解:SubBytes 到 MixColumns 的数学 【密码学百科】分组密码工作模式全览:ECB/CBC/CTR/OFB/CFB 【密码学百科】流密码:RC4 的兴衰与 ChaCha20 的崛起 【密码学百科】密码学哈希函数:MD5→SHA-2→SHA-3 的进化之路 【密码学百科】MAC 与 HMAC:消息认证的正确姿势 【密码学百科】认证加密(AEAD):GCM、ChaCha20-Poly1305 与 OCB 【密码学百科】密钥派生函数:HKDF、PBKDF2、Argon2 与密码存储 【密码学百科】公钥密码的数论基础:模运算、群、原根 【密码学百科】RSA 从原理到攻击:教科书 RSA 为什么不安全 【密码学百科】Diffie-Hellman 密钥交换与离散对数问题 【密码学百科】椭圆曲线密码学(ECC):从几何直觉到点群运算 【密码学百科】数字签名:ECDSA、EdDSA 与 Schnorr 签名 【密码学百科】现代密钥交换:X25519、ECDHE 与前向保密 【密码学百科】混合加密与 KEM/DEM 范式:ECIES 与 HPKE 【密码学百科】填充方案:PKCS#1 v1.5、OAEP 与 PSS 【密码学百科】TLS 协议全解析:从握手到 0-RTT 【密码学百科】PKI 与数字证书:信任链的构建与崩塌 【密码学百科】密码认证协议:从 SRP 到 OPAQUE 【密码学百科】零知识证明入门:如何证明你知道而不泄露 【密码学百科】安全信道构造:Noise 协议框架与 Signal 协议 【密码学百科】密钥管理工程:HSM、KMS 与密钥生命周期 【密码学百科】侧信道攻击:从时序攻击到功耗分析 【密码学百科】密码学实现陷阱:三层漏洞分类、审计工具链与系统性预防 密码敏捷性:如何设计可升级的密码系统 【密码学百科】OpenSSL/BoringSSL 架构剖析:ENGINE、Provider 与 FIPS 模块 排序基准测试:用数据说话
【操作系统百科】交换
2026-04-28 · via 土法炼钢兴趣小组的算法知识备份

Swap 把匿名页(堆、栈、malloc 分配)搬到磁盘/压缩后端,腾出物理 RAM。“swap 是不是该关掉”是运维永恒争论。

一、先看图

flowchart LR
    ANON[匿名页 inactive] --> REC[回收器]
    REC -->|磁盘 swap| SDEV[swap 分区/文件<br/>/dev/sda2]
    REC -->|zram| ZRAM[zram 设备<br/>内存压缩]
    REC -->|zswap| ZSWAP[zswap 压缩池<br/>→ 满时泄到 swap]
    SDEV --> SWAPIN[swap in<br/>major fault]
    ZRAM --> SWAPIN
    ZSWAP --> SWAPIN
    SWAPIN --> ANON2[恢复匿名页]
    classDef mem fill:#388bfd22,stroke:#388bfd,color:#adbac7;
    classDef disk fill:#f0883e22,stroke:#f0883e,color:#adbac7;
    classDef comp fill:#3fb95022,stroke:#3fb950,color:#adbac7;
    class ANON,ANON2,REC mem
    class SDEV disk
    class ZRAM,ZSWAP comp

二、基础

2.1 swap area

swapon --show
# NAME       TYPE       SIZE USED PRIO
# /dev/sda2  partition  8G   1.2G  -2
# /swapfile  file       4G   0B    -3

优先级高的先用。分区 swap 性能略好于文件 swap(少一层 VFS)。

2.2 swap entry

页被换出后,PTE 里存的不是物理地址,而是 swap entry:

bit 0 = 0  (不 present)
bit 1..62 = swap type + offset

缺页时内核解析 entry → 找到 swap 位置 → 读回。

2.3 swap cache

刚 swap-in 的页暂留 swap cache——如果马上又要换出,省一次写。page 同时有物理地址和 swap entry。

三、swappiness 的真实含义

D-36 提过,再强调:

  • 不是 “swap 概率” 或 “swap 使用量上限”
  • 回收扫描时 anon vs file 的权重
vm.swappiness = 60  →  扫 anon 和 file 的比例约 60:140
                = 0   →  几乎只扫 file(除非没 file 可回收)
                = 200 →  anon 权重极高(配合 zram 有意义)

误区

  • “swappiness=0 就不 swap” ❌(极端压力仍会)
  • “swappiness=100 疯狂 swap” ❌(只是等权重)

四、zram

zram 创建一个内存中的块设备,数据压缩存储:

modprobe zram
echo lz4 > /sys/block/zram0/comp_algorithm
echo 4G > /sys/block/zram0/disksize
mkswap /dev/zram0
swapon -p 100 /dev/zram0

压缩比通常 2-3x → 4GB zram ≈ 多出 8-12GB “虚拟 RAM”。

场景: - Android 标配(Chrome OS 也是) - 嵌入式、低内存 VPS - 桌面混合用(zram + 小 swapfile 做 fallback)

开销:压缩/解压 CPU;lz4 很快(几 μs/页),zstd 压得更紧但稍慢。

五、zswap

zswap 是 swap 的前端压缩池——页先压缩到内存池;池满才泄到真实 swap。

echo 1 > /sys/module/zswap/parameters/enabled
echo lz4 > /sys/module/zswap/parameters/compressor
echo 20 > /sys/module/zswap/parameters/max_pool_percent
echo zsmalloc > /sys/module/zswap/parameters/zpool

vs zram:

  • zram 是独立块设备;zswap 是 swap 路径上的一层
  • zswap 需要底层 swap area 做后端
  • 内核 6.5+ zswap 支持 shrinker,可以淘汰冷压缩页

何时选哪个

  • 只要压缩内存、不要磁盘 swap → zram
  • 有磁盘 swap 但想减少 I/O → zswap
  • 不能出 OOM → 两者 + swap 分区都开

六、swap readahead

swap in 时预读相邻的 swap 页面:

  • cluster readahead:在 swap slot 连续的邻居里预读
  • vma readahead:按 VMA 虚拟地址相邻预读

page_cluster sysctl 控制(默认 3 → 2^3 = 8 页)。SSD 上设小(0-1),HDD 上保持默认。

七、容器里的 swap

7.1 cgroup v2

memory.swap.max = 2G       # 容器 swap 上限
memory.swap.current         # 当前 swap 用量
memory.zswap.max = 1G      # zswap 配额(6.5+)

7.2 Kubernetes

kubelet 长期要求关 swap。1.28+ beta 支持 swap(NodeSwap feature gate)。

  • LimitedSwap:只允许 Burstable pod
  • UnlimitedSwap:所有 pod 可 swap

生产建议:先在非关键节点测试。

7.3 DB 容器

数据库几乎都建议关 swap 或 swappiness=1。swap 带来的延迟不可预测——宁可 OOM 快速重启。

八、swap 还值得开吗?

开的理由: - 给内存压力一个缓冲——OOM Killer 是最后手段 - 不常用的后台进程占页能被换出 - zram 几乎零成本

关的理由: - 数据库、实时系统不能容忍 swap 延迟 - 大内存服务器(512GB+)swap 意义不大 - Kubernetes 历史上不支持

折中方案: - zram + swappiness=100(Android/ChromeOS 风格) - 小 swap + vm.swappiness=1(服务器风格)

九、诊断

free -h                     # Swap 行
vmstat 1                    # si/so 列
sar -W 1                    # pswpin/s pswpout/s
cat /proc/meminfo | grep -i swap

# 哪个进程在 swap
awk '/VmSwap/{if($2>0)print FILENAME,$0}' /proc/*/status 2>/dev/null | sort -k3 -rn | head

# swap I/O 延迟
bpftrace -e 'kprobe:swap_readpage { @start[tid]=nsecs; }
  kretprobe:swap_readpage /@start[tid]/ { @us=hist((nsecs-@start[tid])/1000); delete(@start[tid]); }'

十、小结

  • swap 是 anon 页的”后备”——磁盘/zram/zswap 三条路
  • swappiness 是权重不是概率
  • zram 是内存压缩,Android/ChromeOS 标配
  • zswap 是 swap 前端缓冲,减少磁盘 I/O
  • 容器 swap 正在解冻,但生产需审慎

参考文献

  • Documentation/admin-guide/mm/zswap.rstDocumentation/admin-guide/blockdev/zram.rst
  • Corbet, J. “Zswap: compressed swap caching.” LWN.net 2013
  • Seth Jennings, “zswap: compressed swap caching.” Kernel 3.11
  • mm/swap_state.cmm/zswap.cdrivers/block/zram/
  • Kubernetes KEP-2400: Node Swap Support

工具

  • swapon --showfree -h
  • vmstatsar -W
  • zramctl
  • /proc/meminfo/sys/block/zram0/
  • bpftrace swap tracing

延伸阅读


上一篇内存回收 下一篇OOM Killer

同主题继续阅读

把当前热点继续串成多页阅读,而不是停在单篇消费。

2026-04-27 · os

【操作系统百科】内存回收

Linux 内存回收是 VM 最复杂的子系统之一。本文讲 active/inactive LRU、kswapd 与 direct reclaim、watermark 三线、swappiness 的真实含义、MGLRU 改造、memcg 回收与 PSI。

2026-05-03 · os

【操作系统百科】Slab/SLUB 分配器

buddy 只管页粒度(4K+),内核大多数对象只有几十到几百字节。slab/SLUB 在 buddy 之上做对象级缓存。本文讲 slab 历史、SLUB 接手、SLOB 退场、kmem_cache、per-CPU cache、KASAN 集成。

2026-05-07 · os

【操作系统百科】用户态分配器

glibc malloc、tcmalloc、jemalloc、mimalloc 各有哲学。本文讲 arena、thread cache、size class、madvise 返还策略、碎片与 RSS 膨胀、如何根据负载选分配器。

2026-05-18 · os

【操作系统百科】io_uring 内核内部

io_uring 用共享内存 ring buffer 实现零 syscall 异步 I/O——SQ/CQ、SQPOLL、IOPOLL、注册 fd/buffer、multishot、安全模型演化。本文深入内核实现与工程实践。