惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

V
V2EX
爱范儿
爱范儿
Martin Fowler
Martin Fowler
T
The Blog of Author Tim Ferriss
B
Blog RSS Feed
博客园 - 聂微东
G
GRAHAM CLULEY
Engineering at Meta
Engineering at Meta
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
WordPress大学
WordPress大学
Scott Helme
Scott Helme
AI
AI
S
Security Affairs
T
Threat Research - Cisco Blogs
M
MIT News - Artificial intelligence
T
Troy Hunt's Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
人人都是产品经理
人人都是产品经理
AWS News Blog
AWS News Blog
T
Threatpost
Cyberwarzone
Cyberwarzone
www.infosecurity-magazine.com
www.infosecurity-magazine.com
U
Unit 42
V
Vulnerabilities – Threatpost
J
Java Code Geeks
博客园 - Franky
月光博客
月光博客
Blog — PlanetScale
Blog — PlanetScale
NISL@THU
NISL@THU
D
Docker
小众软件
小众软件
N
News and Events Feed by Topic
Microsoft Security Blog
Microsoft Security Blog
Y
Y Combinator Blog
A
Arctic Wolf
D
DataBreaches.Net
云风的 BLOG
云风的 BLOG
Forbes - Security
Forbes - Security
量子位
PCI Perspectives
PCI Perspectives
美团技术团队
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
I
InfoQ
Security Archives - TechRepublic
Security Archives - TechRepublic
有赞技术团队
有赞技术团队
腾讯CDC
P
Proofpoint News Feed
S
Security @ Cisco Blogs
G
Google Developers Blog
C
Cisco Blogs

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
一次线上故障带你看懂 MySQL InnoDB 缓冲池
cqrocky · 2026-05-20 · via 博客园_首页

一、凌晨两点,数据库突然“卡死”了

某天凌晨,两台业务应用同时报警。

接口 RT(响应时间) 从原来的几十毫秒飙升到 3 秒以上,应用线程大量堆积,数据库 CPU 却并不算高,维持在 40% 左右。

第一反应通常会怀疑:

  • SQL 是否出现了慢查询
  • 是否存在锁等待
  • 是否有大事务
  • 磁盘 IO 是否打满

但实际排查后发现:

  • 慢 SQL 数量并不多
  • 没有明显锁冲突
  • QPS 没有明显上涨
  • CPU 也不高

真正异常的是:

SHOW ENGINE INNODB STATUS;

以及:

SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool%';

其中几个指标非常异常:

  • Buffer Pool 命中率明显下降
  • Free Buffers 接近 0
  • Pages Read 持续暴涨
  • 磁盘随机读 IO 飙高

此时基本可以确定:

问题出在 InnoDB Buffer Pool。


二、问题定位:Buffer Pool 正在“失效”

继续分析监控后,发现系统在故障前刚上线了一个数据统计任务。

这个任务有两个特点:

  • 会扫描大量历史数据
  • 查询的数据几乎不会重复访问

也就是说:

大量冷数据正在不断冲击 Buffer Pool。

现象本质

正常情况下:

热点数据应该长期驻留在内存中。

但这个统计任务会不断读取新的数据页,导致原本缓存中的热点页被大量淘汰。

结果就是:

业务原本可以直接命中的数据,现在必须重新走磁盘读取。

数据库开始进入:

“缓存失效 → 磁盘 IO 暴涨 → 查询变慢 → 连接堆积”

的恶性循环。

这也是很多 MySQL 线上抖动最典型的问题之一。

而理解这一切,必须先搞懂 InnoDB Buffer Pool 到底是什么。


三、什么是 InnoDB Buffer Pool

简单来说:

Buffer Pool 是 InnoDB 的内存缓存区。

它的核心作用是:

  • 缓存数据页
  • 缓存索引页
  • 减少磁盘 IO
  • 提高查询性能

MySQL 的数据最终存储在磁盘中。

但磁盘随机读取速度远低于内存。

因此 InnoDB 会把热点数据提前加载到 Buffer Pool 中。

当 SQL 查询数据时:

  • 如果数据已经在 Buffer Pool 中 → 直接读取内存
  • 如果不在 → 从磁盘加载

这就是经典的:

  • Cache Hit(缓存命中)
  • Cache Miss(缓存未命中)

通常线上高性能 MySQL:

Buffer Pool 命中率会维持在:

99% 以上

如果持续下降,数据库性能通常会明显恶化。


四、Buffer Pool 内部是怎么工作的

1. 数据以 Page 为单位管理

InnoDB 并不是按“行”缓存数据。

而是按 Page(页)管理。

默认每个 Page 大小:

16KB

读取一行数据时:

整个 Page 都会被加载到 Buffer Pool。

因此:

即使只查询一条记录,也可能读取 16KB 数据。


2. LRU 链表并不是真正的传统 LRU

很多文章会简单说:

Buffer Pool 使用 LRU 淘汰数据。

但实际上,InnoDB 做了优化。

它把 LRU 分成了两部分:

  • young 区
  • old 区

默认比例大约:

5 : 3

新读取的数据页,先进入 old 区。

只有被再次访问后,才会进入 young 区。

这样设计是为了避免:

一次全表扫描,把真正热点数据全部挤掉。

这也是 InnoDB 非常经典的缓存保护机制。


3. Flush 机制

Buffer Pool 中的数据修改后:

不会立刻写盘。

而是先修改内存页。

这种页叫:

Dirty Page(脏页)

后台线程会异步刷盘。

这样可以:

  • 合并 IO
  • 减少磁盘写入
  • 提升事务性能

但如果脏页比例过高:

系统会触发强制刷盘。

此时大量 IO 会导致数据库明显抖动。


五、为什么 Buffer Pool 问题会拖垮数据库

生产环境中,最常见的问题主要有四类。

1. Buffer Pool 设置过小

这是最常见的问题。

如果内存只有 2GB Buffer Pool:

但业务热点数据有 20GB。

那么缓存必然频繁淘汰。

数据库会持续随机读磁盘。

性能下降非常明显。


2. 大 SQL 扫描冷数据

例如:

SELECT * FROM order_history;

这种全表扫描会读取大量冷页。

导致热点页被挤出缓存。

线上业务随后全部变慢。

很多“数据库突然卡顿”,根因都在这里。


3. 脏页比例过高

如果写入压力过大:

后台刷盘跟不上。

脏页会持续累积。

最终触发:

checkpoint flush

数据库会瞬间产生大量 IO。

RT 抖动会非常明显。


4. Buffer Pool 实例数不合理

高并发场景下:

多个线程会竞争 Buffer Pool 锁。

因此 MySQL 引入:

innodb_buffer_pool_instances

把 Buffer Pool 切分为多个实例。

减少锁竞争。

否则:

CPU 看起来不高,但线程等待会很多。


六、线上如何排查 Buffer Pool 问题

以下几个指标非常关键。

1. 查看 Buffer Pool 命中率

SHOW GLOBAL STATUS LIKE 'Innodb_buffer_pool_read%';

重点关注:

  • Innodb_buffer_pool_reads
  • Innodb_buffer_pool_read_requests

命中率计算:

1 - (reads / read_requests)

如果低于:

99%

通常就需要关注。


2. 查看 Buffer Pool 使用情况

SHOW ENGINE INNODB STATUS;

重点观察:

  • Free buffers
  • Database pages
  • Modified db pages

如果 Free buffers 长期接近 0:

说明 Buffer Pool 压力很大。


3. 观察磁盘随机读

如果出现:

  • 磁盘 IO 飙升
  • await 增大
  • iops 激增

同时 Buffer Pool 命中率下降。

通常就是缓存失效。


七、生产环境优化方案

1. 增大 Buffer Pool

这是最直接有效的方法。

通常建议:

物理内存的 50% ~ 75%

专用数据库服务器甚至可以更高。

例如:

innodb_buffer_pool_size=16G

这是性能提升最明显的一项配置。


2. 避免大范围全表扫描

历史归档表:

  • 尽量分页
  • 尽量走索引
  • 避免 SELECT *

统计任务建议:

  • 从库执行
  • 低峰执行
  • 分批扫描

避免冲击线上热点缓存。


3. 调整 old 区策略

可以适当调整:

innodb_old_blocks_time

避免扫描页快速进入 young 区。

对抗全表扫描污染效果明显。


4. 控制脏页比例

重点关注:

Innodb_buffer_pool_pages_dirty

必要时调整:

innodb_io_capacity
innodb_io_capacity_max

让后台刷盘更平滑。


5. 合理配置 Buffer Pool Instances

大内存机器建议:

innodb_buffer_pool_instances=8

避免热点竞争。

但实例也不是越多越好。

过多会导致内存碎片增加。

通常:

每个实例至少 1GB

比较合理。


八、总结

很多人优化 MySQL 时:

只关注 SQL。

但实际上:

真正决定数据库性能上限的,往往是内存命中率。

Buffer Pool 本质上就是:

MySQL 的“数据缓存核心”。

它决定了:

  • 数据是否需要走磁盘
  • IO 是否会暴涨
  • 查询是否稳定
  • 数据库是否会突然抖动

线上大量“偶发性慢查询”、

“数据库突然变卡”、

“CPU 不高但 RT 很高”

背后都可能是 Buffer Pool 出了问题。

理解它的运行机制后,很多 MySQL 性能问题都会变得容易定位。