惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Hacker News: Ask HN
Hacker News: Ask HN
WordPress大学
WordPress大学
H
Help Net Security
小众软件
小众软件
N
Netflix TechBlog - Medium
C
Check Point Blog
量子位
Last Week in AI
Last Week in AI
GbyAI
GbyAI
Martin Fowler
Martin Fowler
M
MIT News - Artificial intelligence
博客园 - 聂微东
Engineering at Meta
Engineering at Meta
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
J
Java Code Geeks
D
DataBreaches.Net
Project Zero
Project Zero
P
Proofpoint News Feed
T
Threat Research - Cisco Blogs
Security Latest
Security Latest
Cisco Talos Blog
Cisco Talos Blog
Recorded Future
Recorded Future
I
Intezer
L
Lohrmann on Cybersecurity
Cyberwarzone
Cyberwarzone
博客园_首页
C
Cyber Attacks, Cyber Crime and Cyber Security
L
LangChain Blog
P
Palo Alto Networks Blog
V
V2EX
D
Darknet – Hacking Tools, Hacker News & Cyber Security
T
The Exploit Database - CXSecurity.com
The Hacker News
The Hacker News
Blog — PlanetScale
Blog — PlanetScale
G
GRAHAM CLULEY
T
The Blog of Author Tim Ferriss
C
Cisco Blogs
The Register - Security
The Register - Security
L
LINUX DO - 热门话题
P
Privacy & Cybersecurity Law Blog
Scott Helme
Scott Helme
F
Full Disclosure
博客园 - 司徒正美
Recent Announcements
Recent Announcements
IT之家
IT之家
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Attack and Defense Labs
Attack and Defense Labs
Cloudbric
Cloudbric
Help Net Security
Help Net Security
The Last Watchdog
The Last Watchdog

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
一次线上慢查询,竟然查出了 MySQL 溢出页问题
cqrocky · 2026-05-17 · via 博客园_首页

有些线上问题,表面上看只是 SQL 变慢,实际上背后却隐藏着数据库底层存储结构的问题。

前段时间,我们在生产环境就遇到过一次典型案例:
一张访问量并不算高的业务表,查询RT(响应时间)却突然飙升,甚至出现了大量 IO 等待。最开始大家都以为是索引失效、慢查询或者buffer pool不够,但最终定位下来,真正的问题居然是 —— InnoDB 溢出页(Overflow Page)

这篇文章通过真实排查思路,聊聊这个问题是怎么出现的,又是如何一步步被定位出来的。


线上问题:查询越来越慢,但 SQL 看起来没问题

业务里有一张订单扩展表,大概结构如下:

CREATE TABLE order_ext (
    id BIGINT PRIMARY KEY,
    order_id BIGINT,
    ext_info LONGTEXT,
    create_time DATETIME,
    KEY idx_order_id(order_id)
);

其中 ext_info 用来存储订单扩展信息,包括:

  • 用户提交的 JSON
  • 第三方返回报文
  • 风控字段
  • 审计信息

上线初期数据量不大,一切正常。

但随着业务增长,问题开始逐渐暴露:

  • 根据 order_id 查询越来越慢
  • buffer pool命中率下降
  • 磁盘IO持续升高
  • 即使只查少量数据,响应时间依然不稳定

更奇怪的是:

SELECT id, order_id 
FROM order_ext
WHERE order_id = ?;

这种只查普通字段、不查 LONGTEXT 的 SQL,也开始变慢。

这就有点反常了。


第一步排查:索引没问题,执行计划也正常

首先查看执行计划:

EXPLAIN SELECT id, order_id
FROM order_ext
WHERE order_id = 10001;

结果显示:

  • 命中了二级索引
  • rows很小
  • type = ref

看起来没任何异常。

接着查看:

  • 慢日志
  • buffer pool使用情况
  • 磁盘IO
  • undo / redo 状态

依旧没有发现明显问题。

直到后来,我们注意到一个现象:

这张表的单行记录异常大。


真正的问题:大量字段进入了“溢出页”

继续分析表结构后发现:

LONGTEXT

字段里存储了大量 JSON 数据。

有些记录甚至超过了几十 KB。

而 InnoDB 的数据页默认只有:

16KB

也就是说:

一行数据根本塞不进一个普通数据页。

这时候,InnoDB 就会启动一种机制:

溢出页(Overflow Page)


什么是溢出页?

简单来说:

当一行数据太大,普通页放不下时,InnoDB 会把超长字段拆出去,单独存储到其他页中。

原始数据页里,只保留:

  • 前缀数据
  • 指针信息

真正的大字段内容,则放在“溢出页”里。

大概可以理解成这样:

溢出页


为什么溢出页会拖慢性能?

很多人会有一个误区:

“我又没查询 TEXT 字段,为什么也会慢?”

原因在于:

虽然 SQL 没查大字段,但:

  • 行记录本身仍然更大
  • 页能容纳的记录数变少
  • buffer pool缓存效率下降
  • 页分裂概率提升
  • 回表成本增加

更关键的是:

某些场景下,InnoDB仍然需要访问溢出页。

比如:

  • MVCC版本读取
  • 行完整性校验
  • 回表读取
  • 行迁移

一旦大量随机 IO 打到磁盘,性能就会迅速恶化。


InnoDB 是如何决定使用溢出页的?

这部分稍微深入一点。

InnoDB 并不是所有 TEXT/BLOB 都直接放溢出页。

它会根据:

  • 行格式(ROW_FORMAT)
  • 字段大小
  • 页剩余空间

综合决定。

常见行格式包括:

  • Compact
  • Dynamic
  • Compressed

其中:

Compact 行格式

会在数据页中保留:

768 字节前缀

剩余部分放到溢出页。

因此:

即使字段非常大,主页里仍然会保留部分内容。


Dynamic 行格式

这是 MySQL 5.7/8.0 更推荐的方式。

它会:

  • 尽量只保留 20 字节指针
  • 大字段完整放入溢出页

这样能让主页更“轻”。

很多线上库升级后性能改善,其实就和这个有关。


为什么我们的线上问题越来越严重?

后来继续分析发现:

业务表存在几个典型问题。

1. JSON 数据持续膨胀

最初:

{"status":"ok"}

后来逐渐变成:

{
  "risk": {...},
  "audit": {...},
  "third_response": {...},
  ...
}

单条数据越来越大。


2. 热数据和冷大字段混在一起

实际上:

业务查询只关心:

  • order_id
  • status
  • create_time

但每次回表时:

大字段依然跟着存储在同一行逻辑结构里。

导致热点数据缓存效率越来越差。


3. 页利用率急剧下降

正常情况下:

16KB 页可以放很多记录。

但有大量大字段后:

一个页只能放几条记录。

buffer pool很快被“低效占用”。


最终解决方案

最后,我们用了几个手段解决问题。


方案一:拆分大字段

这是最有效的方法。

把:

ext_info LONGTEXT

拆到独立表:

order_ext_detail

主表只保留核心查询字段。

效果非常明显:

  • buffer pool命中率提升
  • IO明显下降
  • 查询RT恢复正常

这也是线上最推荐的方案。


方案二:避免无意义的大 JSON

很多业务喜欢把所有数据直接塞JSON。

但实际上:

  • 很多字段不会查询
  • 很多字段不会回看
  • 很多字段只是日志性质

这类内容:

  • 可以归档
  • 可以压缩
  • 可以放对象存储

不要全部堆进MySQL。


方案三:使用 Dynamic 行格式

检查表:

SHOW TABLE STATUS LIKE 'order_ext';

如果不是:

ROW_FORMAT=DYNAMIC

建议调整:

ALTER TABLE order_ext ROW_FORMAT=DYNAMIC;

这样可以减少主页占用。


方案四:避免频繁回表

比如:

SELECT *

非常容易把大字段一起带出来。

线上最好:

  • 明确字段列表
  • 使用覆盖索引
  • 避免无意义读取

否则即使SQL看起来简单,也可能触发大量IO。


一个容易被忽视的底层细节

很多MySQL性能问题,本质并不是:

  • SQL写得差
  • 索引没建好

而是:

数据组织方式已经不适合当前业务规模。

尤其在业务快速发展后:

  • JSON
  • TEXT
  • BLOB

这些字段非常容易成为隐藏炸弹。

平时数据量小时没感觉。

一旦数据规模上来:

  • buffer pool
  • IO
  • 页分裂
  • 回表成本

问题会集中爆发。


总结

溢出页本身并不是问题。

真正的问题是:

大字段被无节制地放进核心业务表。

线上排查MySQL性能问题时,如果出现:

  • IO 异常升高
  • 查询越来越慢
  • buffer pool命中率下降
  • 单表数据膨胀明显

除了索引和SQL之外,也建议关注:

  • 行大小
  • TEXT/BLOB字段
  • ROW_FORMAT
  • Overflow Page使用情况

很多“查不出原因”的慢查询,最后根因都藏在这里。