






















倒排索引为什么叫倒排索引?
更加具体点, 我们看看 MySQL InnoDB 引擎中怎么定义和实现 AUTO_INCREMENT.
在 MySQL 8.0 之前 AUTO_INCREMENT 值存储在内存中. 每次重启通过 select max id 初始化值.
-- 大致方式通过行级锁(排他锁) MAX(id) -> AUTO_INCREMENT init value SELECT MAX(ai_col) FROM [table_name] FOR UPDATE;
在 MySQL 8.0 之后, 持久化存储在磁盘. 每次更新会写入 redo log 中, 也会刷入 innodb 引擎系统表中记录下来.
如果 MySQL 正常关闭重启, 会从引擎系统表中获取计数器的值.
如果 MySQL 故障重启, 也会从引擎系统表中获取计数器的值;
并且从最后一个检查点开始扫描 redo log 中记录的计数器值; 取二者最大值作为新值.
但是这个处理逻辑也不能保证最后拿到的值是正确的.
如果在系统文件落盘前崩溃, 那么就可能拿到一个之前使用过的值. 这也是数据备份和同步时候可能引发主键冲突根源.
通过对 InnoDB 的 AUTO_INCREMENT 了解, 大致猜测到他的优缺点和使用领域以及现状.
这时候推荐使用分布式唯一 ID 生成算法器. (用更复杂大炮干复杂长枪) 替代 AUTO_INCREMENT.
补充说明, 在普通领域 AUTO_INCREMENT 也是个长枪级别 ID 生成器.
原理
-- sequece id 生成器表 CREATE TABLE sequece ( id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT '物理主键, 自增 id', stub char(1) NOT NULL DEFAULT '' COMMENT '打桩靶子', UNIQUE KEY unique_key_stub (stub) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT = '古老分布式 id 生成器'; -- 获取 id DELIMITER $ BEGIN REPLACE INTO sequece(stub) VALUES ('X'); SELECT LAST_INSERT_ID(); COMMIT $
部署
我们也可以多台机器部署, 设置不同 AUTO_INCREMENT step, 让每个 sequece 产生不同号码.
例如部署 step = 2 个服务结点, 并行获取数据.
一个 from 1, 3, 5, 7, 9 ...
一个 from 2, 4, 6, 8, .. .
详细部署操作指导
-- step 标识增长步长, 也标识分布式机器数 show global variables like 'auto_increment%' +--------------------------+-------+ | Variable_name | Value | +--------------------------+-------+ | auto_increment_increment | 1 | | auto_increment_offset | 1 | +--------------------------+-------+ -- auto_increment_increment 全局步长 -- auto_increment_offset 自增起始值 -- 设定自增步长 -- set session 设置当前会话链接, set global 设置当前 ID 机器 set global auto_increment_increment=step for i : [0, step) CREATE TABLE sequece ( id BIGINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY COMMENT '物理主键, 自增 id', stub char(1) NOT NULL DEFAULT '' COMMENT '打桩靶子', UNIQUE KEY unique_key_stub (stub) ) ENGINE=InnoDB AUTO_INCREMENT = [offset + i] DEFAULT CHARSET=utf8mb4 COMMENT = '古老分布式 id 生成器';
这种古老 MySQL 分布式 ID 生成器, 方案成熟部署简单. 在高并发领域存在 DB 性能瓶颈.
如果考虑高可用主从架构, 在主服务挂了, 从服务顶上时候存在重复发号可能.
关于 分布式唯一 ID 其它业界解决方案, 后面有机会再聊.
MySQL InnoDB 引擎默认主键索引是 B+ 线索树索引, 也称为聚簇索引(聚集索引, row key 和 row value 存在连续内存中),
为何叫聚簇索引呢?
在 InnoDB 中, 每个表都会有一个聚簇索引, 在定义了主键(primary key)的情况下,
主键所在的列会被作为聚簇索引存储. 所谓聚簇索引,意思是数据实际上是存储在索引的叶子节点上,
「聚簇」的含义就是和相邻的数据紧凑地存储在一起.
因为不值得同时把数据行存储在两个不同的位置,所以一个表只能有一个聚簇索引.
关于 InnoDB 选择哪个列作为聚簇索引存储,大概的优先级为:
如果定义了主键(primary key), 则使用主键;
如果没有定义主键, 则选择第一个不包含 NULL(NOT NULL)的 UNIQUE KEY;
如果也没有, 则会隐式定义一个主键作为聚簇索引.
MySQL 读取磁盘上的数据是一页一页读取的, 如果某条我们要处理的数据在某一页中,
但是这一页其他数据我们都不关心, 这样的请求多了, 性能会急剧下降, 类似于 CPU 的并发杀手 false sharing.
伪共享 (false sharing) 的非标准定义为:
缓存系统中是以缓存行 (cache line) 为单位存储的. 当多线程修改互相独立的变量时,
如果这些变量共享同一个缓存行, 就会无意中影响彼此的性能, 这就是伪共享.
按照 B+ 线索平衡树的原理, AUTO_INCREMENT 的 ID 能保证最新的数据在一页中被读取, 而且减少了 B+ 树分裂翻转.
UUID 等唯一 ID 由于无序, 插入时, B+ 树会不断翻转, 并且最新的数据可能不在同一页.
很可能会出现, 最新一条数据, 和好几年前的数据在同一页.
例如购物和支付交易的订单, 节日促销的抽奖活动这类业务都有这样的使用场景, 访问频率在最近一天, 一周,
或者几个月内比较活跃, 而超过一段时间内的数据很少访问.
当然架构设计是当下业务和未来业务场景之间取舍.
抛开 MySQL AUTO_INCREMENT 的 ID 分布式和锁性能瑕疵, 在尝试分库分表时候他就变得有点累赘.
一定要用小业务也可以试试研究 MySQL UUID_SHORT() 函数,生成一个 64 位唯一无符号整数.
UUID_SHORT() 返回值的构造是这样的:(server_id & 255) << 56 + (server_startup_time_in_seconds << 24) + incremented_variable++;
详细可以查阅更多资料, 也是一种选择.
行业技术升级变革同样也是是有条不絮.
本文以非常小的点 CREATE TABLE 为切入同大家交流, 欢迎补充纠错.
对于我们奋斗在一线开发工程师而言, 最主要不是虚拟世界航母上神仙斗法, 更多是现实世界通过技术传承为商业项目把桩打稳打牢固.
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。