惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
IT之家
IT之家
Hugging Face - Blog
Hugging Face - Blog
J
Java Code Geeks
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 叶小钗
MyScale Blog
MyScale Blog
G
Google Developers Blog
Microsoft Azure Blog
Microsoft Azure Blog
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
大猫的无限游戏
大猫的无限游戏
博客园 - 三生石上(FineUI控件)
Google DeepMind News
Google DeepMind News
Engineering at Meta
Engineering at Meta
The Cloudflare Blog
Martin Fowler
Martin Fowler
酷 壳 – CoolShell
酷 壳 – CoolShell
N
Netflix TechBlog - Medium
MongoDB | Blog
MongoDB | Blog
I
InfoQ
WordPress大学
WordPress大学
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
H
Help Net Security

博客园 - 那只狐狸

线程与GC 神奇的Task.WaitALl Redis的淘汰策略 压测工具k6 C#的Lock可以锁什么? SqlServer高性能批量插入 二叉树 二叉搜索树 AVL树 红黑树 关于GC 线上bug线下很难重现时的一次处理 自动化测试和联调的工具---apifox 事务管理思考 sleep、yield、wait的区别 线程异常 线程 JAVA线程中断 volatile synchronized在线程安全上的区别 jms amqp activemq rabbitmq的区别 servlet不是线程安全的 雪花算法
mysql在海量数据时的处理方案
那只狐狸 · 2019-12-07 · via 博客园 - 那只狐狸

1.分区

2.缓存

3.一主多从分离读多写少的压力

4.写的压力:分库分表

4.1分分表

水平切分:

数据库的垂直切分:按照 表功能和数据关联密切程度;表太多造成的海量数据考虑按业务逻辑划分;能缓解数据量和访问量造成的问题但不能根治;

表的垂直切分:可以分到多库中,不遵守范式

表的水平切分:解决单表数据量太大的问题、提高了稳定性和负载能力、应用端改造少

无论那种切分缺点都有分布式事务、节点join、跨节点合并排序分页、多数据源管理问题

5.中间件

1.作用:解析sql、读写分离、从库读的负载均衡、支持分库分表操作、支持垮裤关联、支持事务、主键ID生成、多数据源管理

2.类型:客户端模式(sharding-jdbc TDDL)、服务端代理模式(mycat cobar atlas heinsberge vitess kingshard)

6.分片优点

1.减少增量数据写入时的锁对查询的影响,减少长时间查询造成的表锁、锁竞争、排队时间开支

2.单表查询的基数变小、io减少、时延变短

7.实际粒度的掌控

业务紧密程度和表的数据量

7.1 表关系紧密且数据量不大、增速缓慢,则放在一起,无需水平切分;

7.2若划归到一起的表增速迅猛 则需要分库再分表

垂直分表:按照业务功能的使用频次,分成主次表

8.拆分原则

8.1能不拆就不拆

8.2提前规划好切分规则

8.3通过数据冗余或表分组来降低跨库join的可能

8.4数据库中间件对join的高性能操作实现难度大,所以尽量少用join