惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

The Cloudflare Blog
Microsoft Security Blog
Microsoft Security Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
L
LangChain Blog
W
WeLiveSecurity
P
Proofpoint News Feed
月光博客
月光博客
NISL@THU
NISL@THU
L
LINUX DO - 最新话题
Webroot Blog
Webroot Blog
T
Threatpost
Y
Y Combinator Blog
www.infosecurity-magazine.com
www.infosecurity-magazine.com
T
Threat Research - Cisco Blogs
Vercel News
Vercel News
Jina AI
Jina AI
阮一峰的网络日志
阮一峰的网络日志
S
Schneier on Security
J
Java Code Geeks
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
小众软件
小众软件
MyScale Blog
MyScale Blog
N
News and Events Feed by Topic
Stack Overflow Blog
Stack Overflow Blog
有赞技术团队
有赞技术团队
The Hacker News
The Hacker News
Schneier on Security
Schneier on Security
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Help Net Security
Help Net Security
Recent Announcements
Recent Announcements
S
Security @ Cisco Blogs
C
CXSECURITY Database RSS Feed - CXSecurity.com
S
Securelist
T
The Exploit Database - CXSecurity.com
云风的 BLOG
云风的 BLOG
C
Cisco Blogs
雷峰网
雷峰网
量子位
Google DeepMind News
Google DeepMind News
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Spread Privacy
Spread Privacy
L
Lohrmann on Cybersecurity
I
Intezer
T
The Blog of Author Tim Ferriss
G
GRAHAM CLULEY
D
DataBreaches.Net
V
Vulnerabilities – Threatpost
P
Privacy & Cybersecurity Law Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
罗磊的独立博客

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
京东二面:假如SQL中join了10张表,如何优化性能?
苏三说技术 · 2026-05-04 · via 博客园_首页

前言

最近有位小伙伴去大厂面试,被问到一个很刁钻的问题:“假如生产环境有一条SQL,join了10张表,查询耗时超过30秒,你如何一步步排查并优化性能?”

这个问题的难点不在于“如何写SQL”,而在于排查思路的系统性多层次优化手段的组合

今天这篇文章专门跟大家一起聊聊这个话题,希望对你会有所帮助。

更多项目实战在Java突击队网:susan.net.cn

一、用这3步锁定瓶颈

当发现一条10表JOIN的SQL很慢时,千万别直接改SQL,而是按下面流程逐步定位:

image

1.1 使用EXPLAIN分析执行计划

执行EXPLAIN查看每条关联的访问类型。重点关注:

  • type列:出现ALL(全表扫描)、index(全索引扫描)需要优化;理想是refeq_refconst
  • rows列:估算扫描行数,明显偏大的表考虑加索引。
  • Extra列:出现Using temporary(使用临时表)、Using filesort(文件排序)是性能大敌。

示例:一条orders join users join products的SQL

EXPLAIN SELECT o.id, o.amount, u.name, p.title
FROM orders o
JOIN users u ON o.user_id = u.id
JOIN products p ON o.product_id = p.id
WHERE o.status = 'PAID';

如果EXPLAIN显示users表的type=ALL,说明user_id没有索引——这是最直接的优化点。

1.2 查看真实SQL执行时间分布

SET profiling = 1;
-- 执行你的慢SQL
SELECT ...;
SHOW PROFILES;
SHOW PROFILE FOR QUERY 1;

结果会显示每个阶段(sending data、creating sort index等)的耗时,帮你判断是IO瓶颈还是CPU/排序瓶颈。

1.3 检查数据库参数配置

  • join_buffer_size:太小会导致多次扫描。
  • tmp_table_size/max_heap_table_size:太大会导致磁盘临时表。
  • innodb_buffer_pool_size:是否足够容纳热数据。

二、为什么join 10张表会慢?

MySQL(InnoDB)中,多表JOIN默认采用Nested Loop Join:从第一张表(驱动表)取出一行,然后循环去下一张表匹配;重复这个过程直到所有表关联完。

image

时间复杂度 ≈ 扫描驱动表行数 × 每张关联表索引扫描成本

若驱动表有10万行,每张关联表索引扫描成本为1ms,10张表总成本 = 10万 × (10 × 1ms) = 1000秒。

如果MySQL选择Hash Join(MySQL 8.0.18引入)且所有关联条件都能用上索引,性能会大幅提升,但仍受限于内存和构建哈希表的开销。

三、从SQL到架构的7种武器

下面从低成本、易改动的SQL层高成本、长效的架构层,逐级给出具体解决方案,每一种都配完整的示例代码。

武器一:索引优化(最立竿见影)

确保每个ONWHERE条件中的列都有索引。

对于LEFT JOIN,右表关联列必须索引。联合索引要遵循最左前缀原则。

示例: 原SQL

SELECT o.order_no, u.name, p.product_name, c.category_name
FROM orders o
JOIN users u ON o.user_id = u.id
JOIN products p ON o.product_id = p.id
JOIN categories c ON p.category_id = c.id
WHERE o.create_time > '2026-01-01'
  AND u.vip_level > 2
  AND c.status = 'ACTIVE';

排查方法EXPLAIN发现orders表没有用到create_time索引,users表使用全表扫描。

优化方案

-- 给orders表加复合索引
ALTER TABLE orders ADD INDEX idx_create_user (create_time, user_id);
-- 给users表加索引
ALTER TABLE users ADD INDEX idx_vip (vip_level);
-- 给categories表加索引
ALTER TABLE categories ADD INDEX idx_status (status);

这样每个关联都能使用索引,从全表扫描变为refrange访问。

优点:简单直接,对业务代码零侵入。
缺点:索引过多会影响写入性能,需权衡。
适用场景:关联列选择性好,即重复值少。

武器二:调整JOIN顺序

让小表驱动大表。

Nested Loop Join中,驱动表的行数决定了循环次数。

让结果集最小的表做驱动表。

示例:订单表1000万行,用户黑名单表只有100行。查询“黑名单用户的订单”:

-- 原SQL:可能以大表orders驱动
SELECT o.* FROM orders o JOIN blacklist b ON o.user_id = b.user_id;

优化方案:通过STRAIGHT_JOIN强制小表驱动

SELECT STRAIGHT_JOIN o.* FROM blacklist b JOIN orders o ON b.user_id = o.user_id;

验证:使用EXPLAIN查看第一行是否为blacklist(rows≈100)。

优点:不改变业务逻辑,仅调整顺序。
缺点:需要了解数据分布,不恰当使用可能反而变慢。
适用场景:驱动表与关联表数据量悬殊明显。

武器三:拆分JOIN + 应用层组装

当10张表关联只是为了展示一个列表,且数据量不是天文数字时,可以在Java代码中分批查询,再用Stream合并。

示例:查询订单列表,需要关联用户、商品、地址、支付流水等6张表。

优化前(数据库大JOIN):

SELECT o.id, o.amount, u.name, p.title, a.city, pay.status
FROM orders o
LEFT JOIN users u ON o.user_id = u.id
LEFT JOIN products p ON o.product_id = p.id
LEFT JOIN address a ON o.address_id = a.id
LEFT JOIN payment pay ON o.pay_id = pay.id
WHERE o.create_time > '2026-01-01'
LIMIT 20;

优化后(应用层组装):

// 1. 先查主订单,不JOIN任何表
List<Order> orders = orderMapper.selectList(
    new LambdaQueryWrapper<Order>()
        .gt(Order::getCreateTime, startTime)
        .last("limit 20")
);

if (orders.isEmpty()) return Collections.emptyList();

// 2. 提取关联ID集合
Set<Long> userIds = orders.stream().map(Order::getUserId).collect(Collectors.toSet());
Set<Long> productIds = orders.stream().map(Order::getProductId).collect(Collectors.toSet());
Set<Long> addressIds = orders.stream().map(Order::getAddressId).collect(Collectors.toSet());
Set<Long> payIds = orders.stream().map(Order::getPayId).collect(Collectors.toSet());

// 3. 批量查询关联表(注意分批,防止IN超过1000)
Map<Long, User> userMap = batchQuery(userIds, userMapper::selectBatchIds);
Map<Long, Product> productMap = batchQuery(productIds, productMapper::selectBatchIds);
Map<Long, Address> addressMap = batchQuery(addressIds, addressMapper::selectBatchIds);
Map<Long, Payment> payMap = batchQuery(payIds, payMapper::selectBatchIds);

// 4. 内存组装 (使用Stream)
orders.forEach(order -> {
    order.setUser(userMap.get(order.getUserId()));
    order.setProduct(productMap.get(order.getProductId()));
    order.setAddress(addressMap.get(order.getAddressId()));
    order.setPayment(payMap.get(order.getPayId()));
});
return orders;

// 辅助方法:IN分批,防止超过1000
private <T, ID> Map<ID, T> batchQuery(Set<ID> ids, Function<List<ID>, List<T>> mapper) {
    if (ids == null || ids.isEmpty()) return Collections.emptyMap();
    List<ID> idList = new ArrayList<>(ids);
    List<T> result = new ArrayList<>();
    for (int i = 0; i < idList.size(); i += 500) {
        List<ID> batch = idList.subList(i, Math.min(i + 500, idList.size()));
        result.addAll(mapper.apply(batch));
    }
    return result.stream().collect(Collectors.toMap(this::extractId, Function.identity()));
}

优点:数据库压力小,避免笛卡尔积;可分别优化每条查询。
缺点:代码量增多,需要处理批量查询的尺寸。
适用场景:主表数据量适中(<10万),关联表数据量不大且可独立查询。

武器四:活用临时表或衍生表

将多次使用的JOIN中间结果物化,减少重复计算。

示例:一个报表需要先统计每个用户的订单总额,再关联用户信息和等级表。

优化前

SELECT u.name, u.level, stat.total
FROM users u
JOIN (
    SELECT user_id, SUM(amount) as total
    FROM orders
    GROUP BY user_id
) stat ON u.id = stat.user_id
WHERE u.status = 'ACTIVE';

优化后(使用临时表)

-- 创建临时表存放用户订单总额
CREATE TEMPORARY TABLE tmp_user_stat (
    user_id BIGINT PRIMARY KEY,
    total DECIMAL(10,2),
    INDEX(user_id)
) ENGINE=InnoDB;

INSERT INTO tmp_user_stat (user_id, total)
SELECT user_id, SUM(amount) FROM orders GROUP BY user_id;

-- 然后JOIN
SELECT u.name, u.level, t.total
FROM users u
JOIN tmp_user_stat t ON u.id = t.user_id
WHERE u.status = 'ACTIVE';

-- 用完可以删除(会话结束自动清理)
DROP TEMPORARY TABLE IF EXISTS tmp_user_stat;

优点:避免重复计算GROUP BY,索引友好。
缺点:需要额外存储空间和临时表管理。
适用场景:需要多次引用相同中间结果,或者中间结果集较大。

武器五:使用物化视图或汇总表

如果10表JOIN的查询相对固定(比如BI报表),可以定期通过ETL将结果存储到一张汇总表。

示例:每日销售报表,需要JOIN订单、用户、产品、地区、销售员等8张表。

优化方案:创建汇总表,每天凌晨跑一次。

-- 创建结果表
CREATE TABLE daily_sales_report (
    report_date DATE,
    product_id BIGINT,
    region VARCHAR(50),
    total_amount DECIMAL(12,2),
    order_count INT,
    PRIMARY KEY (report_date, product_id, region)
);

-- 存储过程或定时任务
INSERT INTO daily_sales_report
SELECT DATE(o.create_time), p.id, a.region, SUM(o.amount), COUNT(*)
FROM orders o
JOIN products p ON o.product_id = p.id
JOIN users u ON o.user_id = u.id
JOIN address a ON u.address_id = a.id
-- 还有4张表....
WHERE o.create_time >= CURDATE() - INTERVAL 1 DAY
  AND o.create_time < CURDATE()
GROUP BY DATE(o.create_time), p.id, a.region;

查询时直接查汇总表,毫秒级响应。

优点:查询接近瞬时,对OLAP友好。
缺点:数据有延迟(T+1),需要额外的维护任务。
适用场景:BI报表、运营看板等实时性要求不高的场景。

武器六:换用OLAP引擎

可以换成ClickHouse或Doris。

对于实时性要求不高的复杂分析查询,直接将数据同步到ClickHouse等列式数据库。

它们天生支持大宽表和多表星型模型关联,查询性能远超MySQL。

示例:使用ClickHouse的JOIN(需注意它的分布式特性)

-- ClickHouse中,将大表作为右表时建议使用GLOBAL JOIN
SELECT o.order_no, u.name, p.product_name
FROM orders_local o
GLOBAL JOIN users_local u ON o.user_id = u.id
GLOBAL JOIN products_local p ON o.product_id = p.id
SETTINGS join_algorithm = 'partial_merge';

优点:性能极致,支持PB级数据,压缩比高。
缺点:引入新组件,运维复杂,不支持事务和频繁更新。
适用场景:日志分析、用户行为分析、实时报表。

武器七:垂直拆分 + 读写分离

  • 垂直分表:把订单中的文本型大字段、低频字段拆到扩展表,减少单行宽度。
  • 读写分离:把复杂JOIN查询路由到从库,避免影响主库写入性能。

示例:将订单表拆为基础表(高频字段)和扩展表(大字段)。

-- 基础表
CREATE TABLE orders_basic (
    id BIGINT PRIMARY KEY,
    user_id BIGINT,
    amount DECIMAL(10,2),
    status VARCHAR(20),
    create_time DATETIME
);
-- 扩展表
CREATE TABLE orders_ext (
    order_id BIGINT PRIMARY KEY,
    remark TEXT,
    delivery_address TEXT,
    FOREIGN KEY (order_id) REFERENCES orders_basic(id)
);

查询常用字段时只查基础表,需要备注信息时再LEFT JOIN扩展表。

优点:减少单行IO,提升缓存命中率。
缺点:代码需要区分场景,增加复杂度。
适用场景:表中大字段访问频率低,但基础字段频繁查询。

更多项目实战在Java突击队网:susan.net.cn/project

四、优化手段优缺点及选用场景

优化手段 优点 缺点 适用场景
加索引 简单直接,快速见效 过多索引影响写入 关联列选择性好
调整JOIN顺序 不改SQL逻辑,成本低 需要了解数据分布 驱动表比从表小很多
拆分+应用层组装 彻底解耦,数据库压力小 代码复杂度增加 主表数据量中等,关联表多
临时表/衍生表 减少重复计算 额外存储,需管理清理 多次引用相同中间结果
物化视图/汇总表 查询极快 数据有延迟,存储成本高 BI报表,实时性要求不高
换用OLAP引擎 性能极致,支持大数据量 引入新组件,运维复杂 分析型查询
垂直拆分/读写分离 减少锁竞争,提升并发 架构改造大 写入频繁,查询复杂

五、总结

面试时你可以这样回答:

首先,我会用EXPLAIN分析执行计划,找出哪张表出现全表扫描或产生了临时表/文件排序。

然后针对性加索引或调整JOIN顺序。

如果SQL层面优化后仍慢,我会考虑业务拆分:比如应用层分多次查询+内存组装,或者将部分结果提前物化到临时表。

对于生产级别的BI报表,我更倾向将数据同步到ClickHouse这类专用数据库。

最后,如果业务允许,我会从源头减少JOIN表数量——比如在订单表里冗余必要的商品名称、用户昵称等,避免每次都要关联。

总之,优化没有银弹,要结合具体数据量和业务容忍度,组合使用索引、SQL改写、架构拆分等多种手段。

我也会用profile或performance_schema进一步定位是IO还是CPU瓶颈。