惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园_首页
F
Full Disclosure
Martin Fowler
Martin Fowler
The GitHub Blog
The GitHub Blog
L
LangChain Blog
T
The Blog of Author Tim Ferriss
D
DataBreaches.Net
GbyAI
GbyAI
Y
Y Combinator Blog
博客园 - Franky
WordPress大学
WordPress大学
Apple Machine Learning Research
Apple Machine Learning Research
A
About on SuperTechFans
Blog — PlanetScale
Blog — PlanetScale
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
G
Google Developers Blog
罗磊的独立博客
Hugging Face - Blog
Hugging Face - Blog
博客园 - 三生石上(FineUI控件)
IT之家
IT之家
Jina AI
Jina AI
N
Netflix TechBlog - Medium
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Recent Announcements
Recent Announcements
酷 壳 – CoolShell
酷 壳 – CoolShell
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 聂微东
腾讯CDC
H
Help Net Security
H
Heimdal Security Blog
J
Java Code Geeks
C
CXSECURITY Database RSS Feed - CXSecurity.com
T
The Exploit Database - CXSecurity.com
The Register - Security
The Register - Security
大猫的无限游戏
大猫的无限游戏
T
Threatpost
B
Blog RSS Feed
T
Threat Research - Cisco Blogs
Microsoft Security Blog
Microsoft Security Blog
S
Securelist
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
B
Blog
量子位
AWS News Blog
AWS News Blog
Project Zero
Project Zero
P
Proofpoint News Feed
Cisco Talos Blog
Cisco Talos Blog
Spread Privacy
Spread Privacy
S
Schneier on Security

土法炼钢兴趣小组的算法知识备份

国密算法与国密 TLS 系列索引 【系统架构设计】架构质量属性:不只是"高可用高性能" 【系统架构设计百科】告警策略:如何避免"狼来了" 【系统架构设计】CQRS:读写分离的架构哲学 【系统架构设计】空间架构:极端扩展场景的解法 【系统架构设计】微服务架构深度审视:优势、代价与适用边界 【系统架构设计】扩展性原理:水平、垂直与对角扩展 【系统架构设计】无状态设计:扩展的第一步也是最难的一步 【系统架构设计】缓存架构:从本地到分布式的多级缓存体系 【系统架构设计】管道与过滤器:Unix 哲学的架构表达 【系统架构设计】复杂性管理:架构的核心战场 【系统架构设计】消息队列架构:异步解耦的设计与陷阱 【系统架构设计】CDN 架构:全球加速的设计原理 【系统架构设计】连接池设计:被忽视的性能杀手 【系统架构设计】弹性设计模式:熔断器、舱壁与超时 【系统架构设计】高可用设计模式:冗余、故障转移与仲裁 【系统架构设计】容量规划:从拍脑袋到数据驱动 【系统架构设计】数据库扩展:分库分表的工程实践与替代方案 【系统架构设计】SLO 工程:可靠性的量化管理 【系统架构设计】性能建模:用数学思维分析系统瓶颈 【系统架构设计】混沌工程:主动验证系统的韧性 【系统架构设计】零拷贝与内存映射:数据搬运的极致优化 【系统架构设计】线程模型:从 thread-per-request 到协程 【系统架构设计】容灾架构:多活与灾备设计 【系统架构设计】数据库性能模式:索引、查询与连接管理 【系统架构设计】数据建模:从关系范式到文档模型的真实权衡 【系统架构设计】吞吐量优化:批处理、流水线与并发模型 【系统架构设计】流处理架构:从批处理到实时的范式迁移 【系统架构设计】搜索引擎架构:倒排索引之上的系统设计 【系统架构设计】时序数据架构:监控与 IoT 的存储设计 【系统架构设计】数据迁移与版本化:在线不停机的数据演进 【系统架构设计】数据湖与数据仓库:分析架构的演进路线 【系统架构设计】API 网关设计:入口层的职责边界 【系统架构设计】应用层数据一致性模式:在正确性与性能之间走钢丝 【系统架构设计】多模数据库选型:Polyglot Persistence 的工程实践 【系统架构设计】服务发现与注册:动态拓扑的基础设施 【系统架构设计】配置管理架构:从配置文件到配置中心 【系统架构设计】全链路压测:大规模系统的性能验证 【系统架构设计】幂等性设计:分布式环境下的安全重试 【系统架构设计】契约测试与 Schema 演进:服务间的信任协议 【系统架构设计】长连接与推送架构:WebSocket、SSE 与 MQTT 【系统架构设计】延迟分析:从 P50 到 P999 的全链路追踪 【系统架构设计百科】DDD 战术模式:聚合、实体与值对象 【系统架构设计百科】防腐层与开放主机服务:系统集成的 DDD 方案 【系统架构设计百科】领域事件与事件风暴:从业务到架构的桥梁 【系统架构设计百科】CQRS + Event Sourcing 完整实战:从领域建模到部署 【系统架构设计百科】DDD 与微服务:用领域模型划分服务边界 【系统架构设计】DDD 战略设计:限界上下文与上下文映射 【系统架构设计百科】认证架构:从 Session 到 JWT 到 OIDC 【系统架构设计】API 设计哲学:REST vs GraphQL vs gRPC 的真实权衡 排序算法专题:从 TimSort 到并行排序 【密码学百科】国密算法体系:SM2/SM3/SM4/SM9 全景解读 【密码学百科】承诺方案:Pedersen 承诺、向量承诺与多项式承诺 【密码学百科】不经意传输与隐私信息检索:OT、OT 扩展与 PIR 【密码学百科】门限密码学:门限签名、门限解密与分布式密钥生成 完美哈希:从理论到 gperf 实践 【密码学百科】安全多方计算:从 Yao 的混淆电路到实用 MPC 【密码学百科】同态加密:从 Paillier 到全同态加密(FHE) 【密码学百科】零知识证明系统:zk-SNARKs、zk-STARKs 与 Bulletproofs 【密码学百科】概率论与密码分析:生日攻击、差分分析与线性分析 【密码学百科】计算复杂性与归约:密码安全性证明的基石 【密码学百科】秘密共享:Shamir 方案、VSS 与安全多方计算入口 【密码学百科】椭圆曲线代数:Weierstrass 方程、点群运算与曲线选择 【密码学百科】离散对数与配对密码学:从 DLP 到 BLS 签名 【密码学百科】格密码数学基础:SVP、LWE 与格基约化 【密码学百科】抽象代数:群、环、域的密码学视角 【密码学百科】有限域算术:GF(2^n) 运算与在 AES/ECC 中的应用 【密码学百科】数论进阶:二次剩余、椭圆曲线上的 Weil 配对 【密码学百科】密码学简史:从凯撒密码到量子时代 【密码学百科】威胁模型与安全目标:CIA 三要素之外 【密码学百科】Kerckhoffs 原则与现代密码设计哲学 【密码学百科】随机性:密码学的基石 【密码学百科】信息论入门:熵、完美保密与 Shannon 定理 【密码学百科】分组密码原理:Feistel 网络与 SPN 结构 【密码学百科】AES 逐步拆解:SubBytes 到 MixColumns 的数学 【密码学百科】分组密码工作模式全览:ECB/CBC/CTR/OFB/CFB 【密码学百科】流密码:RC4 的兴衰与 ChaCha20 的崛起 【密码学百科】密码学哈希函数:MD5→SHA-2→SHA-3 的进化之路 【密码学百科】MAC 与 HMAC:消息认证的正确姿势 【密码学百科】认证加密(AEAD):GCM、ChaCha20-Poly1305 与 OCB 【密码学百科】密钥派生函数:HKDF、PBKDF2、Argon2 与密码存储 【密码学百科】公钥密码的数论基础:模运算、群、原根 【密码学百科】RSA 从原理到攻击:教科书 RSA 为什么不安全 【密码学百科】Diffie-Hellman 密钥交换与离散对数问题 【密码学百科】椭圆曲线密码学(ECC):从几何直觉到点群运算 【密码学百科】数字签名:ECDSA、EdDSA 与 Schnorr 签名 【密码学百科】现代密钥交换:X25519、ECDHE 与前向保密 【密码学百科】混合加密与 KEM/DEM 范式:ECIES 与 HPKE 【密码学百科】填充方案:PKCS#1 v1.5、OAEP 与 PSS 【密码学百科】TLS 协议全解析:从握手到 0-RTT 【密码学百科】PKI 与数字证书:信任链的构建与崩塌 【密码学百科】密码认证协议:从 SRP 到 OPAQUE 【密码学百科】零知识证明入门:如何证明你知道而不泄露 【密码学百科】安全信道构造:Noise 协议框架与 Signal 协议 【密码学百科】密钥管理工程:HSM、KMS 与密钥生命周期 【密码学百科】侧信道攻击:从时序攻击到功耗分析 【密码学百科】密码学实现陷阱:三层漏洞分类、审计工具链与系统性预防 密码敏捷性:如何设计可升级的密码系统 【密码学百科】OpenSSL/BoringSSL 架构剖析:ENGINE、Provider 与 FIPS 模块 排序基准测试:用数据说话
【列存引擎内核】ClickHouse 与 DuckDB 源码级拆解
Liao Tonglang · 2026-06-18 · via 土法炼钢兴趣小组的算法知识备份

读者理解 PostgreSQL 行存 OLTPLSM 写优化引擎 之后,仍缺 读优化列存 的完整内核拆解。ClickHouse 是开源列存工程标杆;DuckDB 代表嵌入式分析路径——两者对照覆盖 OLAP 主战场。

本系列不写 SQL 教程,写:

  • 列存 part 在磁盘上如何组织 .bin / .mrk / .idx
  • 一次 SELECT 如何从 part 读到向量批(Block)
  • MergeTree 的 merge 在合并什么、为何是列存「心脏手术」
  • PRIMARY KEY 在 ClickHouse 里为何不是唯一约束
  • 生产环境 parts 过多、merge 跟不上、mutation 阻塞如何排查

系列状态:已完成(2026-06-18)。16 篇全部可读。

版本锚定:ClickHouse 24.x LTS;DuckDB 1.x。源码引用标注 release tag。

适合谁看

  • 数据平台 / OLAP 工程师:维护 ClickHouse 集群或设计 ingest 管道。
  • 从 PG/MySQL 转的 DBA:理解排序键、merge、mutation 与 B-Tree 的差异。
  • 嵌入式分析开发者:评估 DuckDB、pg_duckdb 与 ClickHouse 分工。
  • SRE:parts、副本延迟、OOM 排障。

推荐阅读路径

路径 篇目 适合
OLAP 开发者 1 → 2 → 4 → 5 → 7 理解读写
平台/运维 1 → 6 → 8 → 14 → 15 → 16 集群稳定
嵌入式分析 11 → 12 → 13 DuckDB
从 PG 来 1 → 7 → 5 + PG B-Tree 索引语义差异
完整通读 1 → … → 16 系统掌握

一、六个关键问题

  1. 列存文件在磁盘上长什么样? → 第 1、2 章
  2. 一次 SELECT 如何从 part 读到向量批? → 第 3、4、5 章
  3. MergeTree 的 merge 到底在合并什么? → 第 6 章
  4. ClickHouse 的「索引」是什么? → 第 7 章
  5. 分布式表如何工作? → 第 8、9 章
  6. 列存生产环境会出什么事故? → 第 14–16 章

二、篇目依赖

flowchart TD
  A["01 列存基础"] --> B["02 Part 格式"]
  B --> C["03 压缩与编码"]
  C --> D["04 向量化执行"]
  D --> E["05 查询读取路径"]
  B --> F["06 Merge 与 Mutation"]
  F --> G["07 索引与跳数索引"]
  G --> H["08 ReplicatedMergeTree"]
  H --> I["09 Distributed"]
  I --> J["10 物化视图"]
  D --> K["11 DuckDB 架构"]
  K --> L["12 DuckDB Pipeline"]
  L --> M["13 选型对照"]
  M --> N["14 监控"]
  N --> O["15 故障"]
  O --> P["16 配置陷阱"]

三、目录(全 16 篇)

第一部分:存储格式(第 1–3 篇)

  1. 列存基础与 ClickHouse 架构 — 行存/列存三角、进程模型、MergeTree 家族。
  2. MergeTree Part 文件格式.bin/.mrk/Granule、clickhouse-local 实验。
  3. 压缩与编码 — LZ4/ZSTD/Delta/Gorilla 与压缩比方法。

第二部分:读取与合并(第 4–7 篇)

  1. 向量化执行引擎 — Block、Processors;对照 PG 执行器
  2. 查询读取路径 — Mark Range、PREWHERE、EXPLAIN indexes=1
  3. Merge 与 Mutation — 后台 merge、Replacing/Collapsing、mutation 危害。
  4. 索引与跳数索引 — 稀疏主键、minmax/set/bloom。

第三部分:分布式与管道(第 8–10 篇)

  1. ReplicatedMergeTree — Keeper 协调、副本 lag。
  2. Distributed 引擎 — 分片键、GLOBAL IN/JOIN 代价。
  3. 物化视图与增量管道 — Kafka/S3Queue + MV、目标引擎选型。

第四部分:DuckDB 对照(第 11–13 篇)

  1. DuckDB 架构与嵌入式 OLAP — Row Group、进程内分析。
  2. DuckDB 向量化与 Pipeline — Morsel-driven 并行。
  3. ClickHouse vs DuckDB 选型 — 决策树,不排名。

第五部分:运维实战(第 14–16 篇)

  1. 监控与系统表system.partssystem.merges、关键指标。
  2. 经典故障模式 — too many parts、merge 延迟、OOM。
  3. 配置陷阱与容量规划 — parts 阈值、merge 池、磁盘策略。

四、系列联动

系列 联动
postgresql-kernel 执行器、B-Tree、监控
db/lsm-tree Compaction vs Merge
storage 压缩、块设备
observability 日志/trace 写入 ClickHouse

五、边界

不替代 ClickHouse/DuckDB 官方文档;不写 Cloud 托管内部实现;benchmark 须自测或标注引用来源。

系列 index v2,2026-06-18 — 全 16 篇已发布

同主题继续阅读

把当前热点继续串成多页阅读,而不是停在单篇消费。

2026-06-18 · database / storage

【列存引擎内核】列存基础与 ClickHouse 架构

行存 vs 列存的带宽、压缩与向量化三角;ClickHouse Server 进程模型、线程池与 MergeTree 引擎家族地图;src/Storages 与 src/Processors 源码入口。对照 PG 行存与 LSM 写优化路径,版本锚定 ClickHouse 24.x LTS。

2026-06-18 · database / storage

【列存引擎内核】MergeTree Part 文件格式

ClickHouse MergeTree Part 目录结构:columns.txt、checksums.txt、.bin、.mrk2、primary.idx 语义,Granule 与 Mark 的定位作用,Wide/Compact 布局与 MergeTreeDataPart 源码入口。版本锚定 24.x LTS。

2026-06-18 · database / storage

【列存引擎内核】压缩与编码

ClickHouse 列压缩:LZ4、ZSTD、Delta、DoubleDelta、Gorilla 时序编码与列类型关系;CODEC 链顺序、LowCardinality 与 PG TOAST 对照。压缩比须本机实测,本文不编造倍数。

2026-06-18 · database / storage

【列存引擎内核】向量化执行引擎

ClickHouse Block 列向量 batch、IProcessor Pipeline 与 filter/project/aggregate 向量实现;对照 PostgreSQL 火山模型 ExecProcNode。源码入口 src/Processors、src/Columns。24.x LTS。