惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

K
Kaspersky official blog
罗磊的独立博客
F
Fortinet All Blogs
人人都是产品经理
人人都是产品经理
量子位
V
Visual Studio Blog
Blog — PlanetScale
Blog — PlanetScale
M
MIT News - Artificial intelligence
B
Blog RSS Feed
腾讯CDC
博客园_首页
aimingoo的专栏
aimingoo的专栏
博客园 - 三生石上(FineUI控件)
博客园 - Franky
S
SegmentFault 最新的问题
N
Netflix TechBlog - Medium
小众软件
小众软件
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
L
LINUX DO - 热门话题
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Martin Fowler
Martin Fowler
D
Docker
P
Privacy & Cybersecurity Law Blog
S
Securelist
V
V2EX
Jina AI
Jina AI
阮一峰的网络日志
阮一峰的网络日志
T
Tor Project blog
The Hacker News
The Hacker News
Microsoft Azure Blog
Microsoft Azure Blog
AWS News Blog
AWS News Blog
The GitHub Blog
The GitHub Blog
有赞技术团队
有赞技术团队
T
The Exploit Database - CXSecurity.com
Help Net Security
Help Net Security
酷 壳 – CoolShell
酷 壳 – CoolShell
Application and Cybersecurity Blog
Application and Cybersecurity Blog
博客园 - 叶小钗
Recent Announcements
Recent Announcements
Cloudbric
Cloudbric
Y
Y Combinator Blog
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Latest news
Latest news
MongoDB | Blog
MongoDB | Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Recorded Future
Recorded Future
V2EX - 技术
V2EX - 技术

Mobility

从薅 token 到管 skill:我的 pks 工具落地实践 把笔记、微信读书、知乎装进 Obsidian:我基于llm-wiki知识中枢搭建实录 免费AI视频生成器:我如何用零成本做出带旁白字幕的多场景AI视频 Agnes免费模型真能白嫖视频?我改造了ViMax来试试 教你薅token(二):构建agent无关的skills管理工作流 教你薅token:构建agent无关的AI工作流 用 AI Agent 完成 Hexo 主题迁移:从 Next 到 Butterfly 的全自动化实践 Vercel封禁163邮箱后,我是怎么恢复博客的 用LLM管理安全开发规范:一次llm-wiki实践 Vaadin框架教程:Java工程师的前端开发秘籍 hexo多语言方案总结及最佳实践 知乎增强工具-评论时间精确到秒 怎么理解数据库的四个隔离级别 kubernetes是什么-实用向教程 怎么更科学的用知乎摸鱼 读书笔记《系统之美》,如何面对现实中的复杂问题 分布式系统设计中的通用方法 高并发解决方案很难吗?轻松聊清楚高并发设计 SSP,DSP,RTB,ADX都是什么? 讲讲互联网广告的概念与发展 java项目低学习成本使用kubernetes的实践经验 剧变中的2021-一个中年工程师的年终总结 kubernetes环境下做金丝雀发布的一种思路 prometheus教程: 一篇文章讲懂prometheus 实现一个简单的java版本高性能获取ip地址所属国家工具 iterm2配置ssh书签, 实现记住密码和自动登录 怎样做一个好的技术分享 云原生究竟是什么 读书笔记 稻盛和夫《干法》-思考应该怎样去工作 review的个人价值 户口?大厂?高薪?生活?聊聊应届程序员的职业选择 RPC接口将所有输入输出封装成类是合理设计吗 程序员做业务开发的价值 设计模式的原则,设计模式究竟是什么 我提升开发效率的经验 通过合理的设计降低软件开发复杂度 信息传播过程中的衰减 看房小记-2020北京学区 读书感悟:文明、现代化、价值投资与中国 读书笔记-我曾走在崩溃的边缘 [翻译][关于分布式架构和系统设计]分布式系统的模式-综述 redis的对象 redis里的数据结构 设计模式备忘录 聊聊程序员的职业生涯,我对程序员这个职业的理解 通过mysql批量操作不生效问题聊聊java里mysql的batch 【实践经验】单元测试怎么写 关于rocketmq的readQueue和writeQueue 数据分析的利器-clickhouse介绍 通过位运算转换大小写 activemq多线程消费的不同处理方式 高并发下作余额扣减的一些经验 java细节:三目运算符和自动拆箱 设计一个开源的北京地铁路线规划小工具 java版本 redis cluster的数据迁移 jstorm源码解析之循环任务AsyncLoopThread activemq特性之持久化 activemq的安装及基本使用 activemq系列-概述 hexo教程:博客系统搭建及部署到github jstorm的监控metrics数据输出到第三方存储介质 camel系列之camel debugger的使用 jstorm源码解析之bolt异常处理 log4j动态添加appender 【翻译】java里编写基准测试的一些经验 java线程池:获取运行线程数并控制线程启动速度 maven里的mirror和repository: 配置多repository 使用maven shade plugin 打可执行Jar包 activemq plugin开发指南及示例 通过加入classpath的形式实现命令行运行java程序时引入第三方jar包 解决fatjar的 “java.lang.SecurityException: Invalid signature file digest for Manifest main attributes” 问题 通过实际操作理解redis cluster原理 一种实现在hbase中存储set的思路 log4j2.xml配置示例及与log4j的区别 不实现equals方法的情况下比较java list 使用lua脚本和jedis实现redis的hmsetnx命令,操作hash表时不覆盖原有数据 vitualbox虚拟机安装centos 7 及ssh访问、自启动等配置 在java独立进程(standalone app)中嵌入hawtio监控 java日志系统简介: 从tomcat大量打印debug日志说起 Java kryo/protobuf/protostuff序列化 or Json 性能对比 java分布式锁入门实战 leetcode第三题: 输出不包含重复字母的最长子串 java多线程实现三个字母顺序输出 一次kafka空间激增排查:kafka的数据压缩、批量发送等 java里128有何魔力? 聊聊Integer的缓存 storm/jstorm生态与周边工具,storm连接activemq,kafka,hdfs等 jstorm UI 介绍 五分钟学会写storm代码: jstorm/storm编码原理与普通java程序的区别 activemq web console的权限配置 storm ui 中一些关键属性的含义 activemq 5.6 连接池的内存泄露问题 关于apache camel的消息转发效率 一篇不错的lda模型入门文档 wordcount代码 hadoop基本的学习资料
从redolog,undolog到隔离级别,刨根问底,讲清楚事务和ACID
流沙 · 2022-02-07 · via Mobility

前些日子读了周志明老师的《凤凰架构》这本书,对于很多方面的技术有了更深的认知,因此打算做一些总结。今天先以讲事务的这一段做个印子,结合书中内容和个人理解,争取将本地事务的相关知识讲个命名白白。如果有讲的不对的地方,欢迎大家多多指正。

所谓事务,就是保证数据库中的数据都是符合期望的,在不断的增删改查中,数据库会不断的从一个正确的状态变化到另一个正确的状态,而不会被外界感知到不“正确”的中间状态。

举个常见的例子,就是在 A有100元,B有100元的状态下,A要给B转账10元,肯定会有A先转出10元,再转给B,这样的中间状态。事务就是,对于用户来说,只能感知到 A100 B100 和 A90 B110 这两个状态,而不会感知到过程中的A90 B100等等奇奇怪怪的状态。

这个介绍,其实也就是事务ACID特性中一致性的概念。ACID这个说法虽然很流行,但A、C、I、D之间其实并不是平等的概念,简单来说,AID是方法,C是目的。也就是说,实现了原子性、持久性、隔离性,也就实现了一致性,也就实现了事务。

接下来,我们就依次看看AID分别要如何实现。

原子性和持久性

实现原子性和持久性面临的相同问题其实挺多的,所以把它们放在一起介绍。

先复习一下基本概念,所谓原子性,就是事务内的操作要么都成功,要么都失败;所谓持久性,就是已经完成的操作不会丢失。

值得说明的是,单纯的“实现原子性和持久性”并不存在任何难度,要讨论的问题其实是“如何更高性能的实现原子性和持久性”,(后面要说的隔离性也是一个概念,只有高性能的隔离性才有意义)。

其中一个关键点在于,写磁盘是一个非常重的操作,所以通常会存在一个内存缓冲区,要写磁盘的数据会先写到缓冲区里,再择机落盘。那么假如在事务已提交而尚未落盘的这个时间点,系统出现故障,那么这部分未落盘的数据自然就会丢失,数据库也就失去了持久性。针对这个问题,一个很自然的想法就是事务提交的时候强制刷盘。这个方案可不可行?当然是可行的。但它的问题就是会影响性能。系统出故障毕竟是小概率事件,为了处理这个小概率事件,相当于所有操作都要额外付出一些代价。

实际上为了解决这个问题,一个常规的处理思路就是使用一个commit Log, 也就是在实际写数据之前,先将所有要修改的信息记录在一个log里,如果出现上面描述的问题,系统重启时,会先根据commit log进行数据恢复。而由于写这份log是一个顺序写磁盘的操作,性能会远远好于随机写磁盘,所以这个方式的性能是没有问题的。在数据真正写入之后,再加一个标记,表示这条log已经完成了持久化。

接下来,我们再看一下commit log是否还有优化空间?自然是有的。Commit log的一个重要缺陷就是所有真实的磁盘操作都必须发生在事务提交之后。假如说这个事务非常大,就会占用很大的内存缓冲区,这也会影响系统的性能。改进方案是 write-ahead log 这个机制,这个机制我在之前的文章(https://lichuanyang.top/posts/3914/)里也介绍过,和commit log其实非常像,也是先顺序写一个log文件,唯一的区别就是write-ahead log允许在事务提交之前写入。mysql里的redo log,其实就是一个典型的write-ahead log实现。

讲到这里,我们先暂停一下,回顾一下上面的内容,会发现上边其实基本都在说持久性,原因是对于上边的机制来说,原子性其实都是自然而然的事情,commit log写进去了,这条事务就相当于完成了;commit log没写入,这个事务就相当于不存在。但是使用了write-ahead log的话,情况就不一样了,一个事务会涉及多次磁盘写入,所以也就不满足原子性了。因此,需要引入别的机制来保证原子性,undo log就是实现这个目标的一个典型思路。当变动数据写入磁盘前,必须先记录undo log,注明修改了哪个位置的数据、从什么值改成什么值等,以便在事务回滚或者崩溃恢复时根据undo log对提前写入的数据变动进行擦除。

像在mysql中,实际上也就是像我们上边讲的那样,利用redo log和undo log实现高效可靠的持久性和原子性。

隔离性,隔离级别

如何实现不同事务之间的隔离,一个很自然的思路就是加锁,实际上常规的数据库实现也就是这么做的。一般来说,有这么几种类型的锁:读锁(也叫共享锁),写锁(也叫排他锁),范围锁。

对于一条数据,只有一个事务能持有写锁;不同的事务可以同时持有读锁,数据被添加读锁后不能再添加写锁, 添加写锁后也不能再添加读锁;范围锁则是对一个范围加写锁,在这个范围内都不能写入数据。

我们知道,数据库有四种常见的隔离级别:可串行化,可重复读,读已提交,读未提交。其区别其实就是加锁粒度的不同。

如果我们把所有操作能加的锁都加上,实际上就是串行化的操作了。这种方式隔离性当然很好,但性能就没法说了,所以一般也不会有人使用。

可重复读则是对涉及到的数据加读锁和写锁,并持有到事务结束,但不会加范围锁。这样就会出现幻读的问题,即一个事务内执行两次范围查询,如果这两次查询之间有新的数据被插入,就会导致两次范围查询的结果不一致。

读已提交和可重复读的区别是他的读锁会在查询操作结束之后立刻释放掉,这样,在事务执行过程中,已经查询过的数据是可以被其他事务任意修改的,所以也就会有不可重复读的问题。

读未提交级别下,则完全不会加读锁。这样造成的问题是,由于读操作时不会去申请读锁,所以反而会导致能够读到其他事务上加了写锁的数据,也就会出现脏读的问题。

其实说到底,隔离性和性能就是一对相互矛盾的需求。加锁加的越多,隔离性自然越好,性能也自然越差。我们需要根据实际的使用场景来决定锁究竟要加到什么程度。

而另一个思路,则是再看看有没有锁以外的方式,考虑28原则,看看有没有什么办法,牺牲20%的性能去解决80%的问题。具体来讲,涉及隔离性问题的场景,其实可以简化为一个读事务+一个写事务,和两个写事务,这两种场景。大部分场景下,当然是读+写的情况更多,所以我们找个方式去解决读+写场景下的幻读问题。相信很多人已经猜到了,这种方式就是MVCC。关于MVCC, 网上介绍资料实在太多,我们就不再赘述了。

经过上面对于事务几个特性的介绍,相信大家已经对本地事务有了非常深刻的认识。如有问题,欢迎留言讨论。下一篇文章,我会继续讲一下分布式事务的相关知识,如果感兴趣,可以关注我的个人博客、知乎或者公众号追更~

原文地址: https://lichuanyang.top/posts/7774/