惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Apple Machine Learning Research
Apple Machine Learning Research
AWS News Blog
AWS News Blog
Google DeepMind News
Google DeepMind News
U
Unit 42
博客园 - 叶小钗
博客园 - 聂微东
GbyAI
GbyAI
Stack Overflow Blog
Stack Overflow Blog
有赞技术团队
有赞技术团队
aimingoo的专栏
aimingoo的专栏
D
DataBreaches.Net
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Jina AI
Jina AI
美团技术团队
The Cloudflare Blog
M
MIT News - Artificial intelligence
Microsoft Azure Blog
Microsoft Azure Blog
I
InfoQ
S
Schneier on Security
C
Check Point Blog
Project Zero
Project Zero
The Hacker News
The Hacker News
Scott Helme
Scott Helme
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Cisco Talos Blog
Cisco Talos Blog
P
Privacy International News Feed
SecWiki News
SecWiki News
Latest news
Latest news
MongoDB | Blog
MongoDB | Blog
S
Secure Thoughts
Google Online Security Blog
Google Online Security Blog
F
Fortinet All Blogs
博客园 - 三生石上(FineUI控件)
H
Help Net Security
TaoSecurity Blog
TaoSecurity Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Last Week in AI
Last Week in AI
P
Privacy & Cybersecurity Law Blog
Forbes - Security
Forbes - Security
G
GRAHAM CLULEY
N
Netflix TechBlog - Medium
L
Lohrmann on Cybersecurity
A
About on SuperTechFans
T
The Exploit Database - CXSecurity.com
C
Cisco Blogs
PCI Perspectives
PCI Perspectives
大猫的无限游戏
大猫的无限游戏
T
Troy Hunt's Blog
H
Hacker News: Front Page
Vercel News
Vercel News

元视角

.NET 生态下的 Agent 框架选型:从 ReAct 到原生推理 - 元视角 从「能用」到「好用」:LLM 流式响应实现方式的探索之路 - 元视角 当我用 2000 条聊天记录,让 AI 为我画一幅自画像 - 元视角 基于 Supabase 的 AI 应用开发探索 - 元视角 微博 × MCP:社交媒体新玩法解锁 - 元视角 四点钟海棠花未眠 - 元视角 Semantic Kernel × MCP:智能体的上下文增强探索 - 元视角 基于 K-Means 聚类分析实现人脸照片的快速分类 - 元视角 容器技术驱动下的代码沙箱实践与思考 - 元视角 温故而知新:后端通用查询方案的再思考 - 元视角 浅议 CancellationToken 在前后端协同取消场景中的应用 - 元视角 Semantic Kernel 视角下的 Text2SQL 实践与思考 - 元视角 关于 ChatGPT 的流式传输,你需要知道的一切 - 元视角 RAG 的是与非、Rewrite 和 Rerank - 元视角 使用 EFCore 和 PostgreSQL 实现向量存储及检索 - 元视角 基于 LLaMA 和 LangChain 实践本地 AI 知识库 - 元视角 使用 llama.cpp 在本地部署 AI 大模型的一次尝试 - 元视角 如何为 Git 配置多个 SSH Key - 元视角 C# 使用 LibUsbDotNet 实现 USB 设备检测 - 元视角 基于 C# 实现样式与数据分离的打印方案 - 元视角 基于 SVG 的图形交互方案实践 - 元视角 前端视频播放技术概览 - 元视角 温故而知新,再话 Python 动态导入 - 元视角 后 GPT 时代,NLP 不存在了? - 元视角 视频是不能 P 的系列:使用 Milvus 实现海量人脸快速检索 - 元视角 GDI+下字体大小自适应方案初探 - 元视角 小爱音箱集成 ChatGPT 的不完全教程 - 元视角 程序员视角下的三体世界随想 - 元视角 关于 Docker 容器配置信息的渐进式思考 - 元视角 在 Docker 容器内集成 Crontab 定时任务 - 元视角 为你的服务器集成 LDAP 认证 - 元视角 似花还似非花 - 元视角 视频是不能 P 的系列:使用 Dlib 实现人脸识别 - 元视角 浅议分布式链路追踪与日志的整合 - 元视角 关于 Git 大文件上传这件小事 - 元视角 .NET 进程内队列 Channel 的入门与应用 - 元视角 使用 Fody 实现 .NET 的静态编织 - 元视角 .NET Core + ELK 搭建可视化日志分析平台(下) - 元视角 聊一聊前端图片懒加载背后的故事 - 元视角 支持外部链接跳转的 Vue Router 扩展实现 - 元视角 视频是不能 P 的系列:OpenCV 和 Dlib 实现表情包 - 元视角 不得不说的 ASP.NET Core 集成测试 - 元视角 再议 DDD 视角下的 EFCore 与 领域事件 - 元视角 Vue.js 前端项目容器化部署实践极简教程 - 元视角 再见,人间四月天 - 元视角 Python 图像风格化迁移助力画家梦想 - 元视角 利用 ASP.NET Core 中的标头传播实现分布式链路追踪 - 元视角 利用 gRPC 实现文件的上传与下载 - 元视角 七种武器:延迟队列的原理和实现总结 - 元视角 gRPC 流式传输极简入门指南 - 元视角 Envoy 集成 Jaeger 实现分布式链路追踪 - 元视角 浅议非典型 Web 应用场景下的身份认证 - 元视角 gRPC 借助 Any 类型实现接口的泛化调用 - 元视角 分布式丛林探险系列之 Redis 集群模式 - 元视角 分布式丛林探险系列之 Redis 主从复制模式 - 元视角 通过 Python 预测 2021 年双十一交易额 - 元视角 gRPC 搭配 Swagger 实现微服务文档化 - 元视角 SSL/TLS 加密传输与数字证书的前世今生 - 元视角 使用 Python 自动识别防疫健康码 - 元视角 你不可不知的容器编排进阶技巧 - 元视角 ASP.NET Core 搭载 Envoy 实现 gRPC 服务代理 - 元视角 再话 AOP,从简化缓存操作说起 - 元视角 ASP.NET Core 搭载 Envoy 实现微服务身份认证(JWT) - 元视角 ASP.NET Core 搭载 Envoy 实现微服务的监控预警 - 元视角 ASP.NET Core 搭载 Envoy 实现微服务的反向代理 - 元视角 ASP.NET Core gRPC 打通前端世界的尝试 - 元视角 EFCore 实体命名约定库:EFCore.NamingConventions - 元视角 ASP.NET Core gRPC 集成 Polly 实现优雅重试 - 元视角 ASP.NET Core gRPC 健康检查的探索与实现 - 元视角 ASP.NET Core gRPC 拦截器的使用技巧分享 - 元视角 SnowNLP 使用自定义语料进行模型训练 - 元视角 使用 HttpMessageHandler 实现 HttpClient 请求管道自定义 - 元视角 ABP vNext 的实体与服务扩展技巧分享 - 元视角 ABP vNext 对接 Ant Design Vue 实现分页查询 - 元视角 源代码探案系列之 .NET Core 跨域中间件 CORS - 元视角 源代码探案系列之 .NET Core 限流中间件 AspNetCoreRateLimit - 元视角 源代码探案系列之 .NET Core 并发限制中间件 ConcurrencyLimiter - 元视角 通过 EmbededFileProvider 实现 Blazor 的静态文件访问 - 元视角 低代码,想说爱你不容易 - 元视角 记一次失败的 ThoughtWorks 面试经历 - 元视角 从 C# 1.0 到 C# 9.0,历代 C# 语言特性一览 - 元视角 通过 Python 分析 2020 年全年微博热搜数据 - 元视角 基于 Python 和 Selenium 实现 CSDN 一键三连自动化 - 元视角 使用多线程为你的 Python 爬虫提速的 N 种姿势,你会几种? - 元视角 实现网页长截图的常见思路总结 - 元视角 温故而知新,由 ADO.NET 与 Dapper 所联想到的 - 元视角 视频是不能 P 的系列:OpenCV 人脸检测 - 元视角 作为技术宅的我,是这样追鬼滅の刃的 - 元视角 使用 Python 抽取《半泽直树》原著小说人物关系 - 元视角 厉害了!打工人用 Python 分析西安市职位信息 - 元视角 使用 dotTrace 对 .NET 应用进行性能分析与优化 - 元视角 一道 HashSet 面试题引发的蝴蝶效应 - 元视角 基于选项模式实现.NET Core 的配置热更新 - 元视角 Dapper.Contrib 在 Oracle 环境下引发 ORA-00928 异常问题的解决 - 元视角 .NET Core 中对象池(Object Pool)的使用 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(下):EventBus 篇 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(中):RabbitMQ 篇 - 元视角 利用 MySQL 的 Binlog 实现数据同步与订阅(上):基础篇 - 元视角 记一次从已损坏的 Git 仓库中找回代码的经历 - 元视角 .NET Core 原生 DI 扩展之属性注入实现 - 元视角
Redis 缓存技术学习系列之事务处理 - 元视角
飞鸿踏雪 · 2017-04-09 · via 元视角

  在本系列的第一篇文章中,我们主要针对 Redis 中的“键”和“值”进行了学习。我们可以注意到,Redis 是一个 C/S 架构的数据库,在我们目前的认知中,它是通过终端中的一条条命令来存储和读取的,即它是一个非常典型的“请求-响应”模型。可是我们知道在实际的应用中,我们要面对的或许是更为复杂的业务逻辑,因为 Redis 中不存在传统关系型数据库中表的概念,因此在使用 Redis 的过程中,我们要面对两个实际的问题,即如何更好的维护数据库中的”键“、如何在高效执行命令的同时保证命令执行成功。对于前者,我认为这是一个设计上的问题,而对于后者,我认为这是一个技术上的问题。所以,这篇文章的核心内容就是找到这两个问题的答案。带着这样的问题出发,我们就可以正式进入这篇文章的主题:Redis 中的事务处理。

从数据库事务说起

​  通常我们提及数据库都不可避免的要提到事务,那么什么是事务呢?事务是指作为单个逻辑工作单元执行的一系列操作。所以,首先事务是一系列操作,这一系列操作具有二态性,即完全地执行或者完全地不执行。因此事务处理可以确保除非事务单元内的所有操作的成功完成,否则不会永久更新面向数据的资源。我们这里举一个例子,数据库中除查询操作以外,插入(Insert)、删除(Delete)和更新(Update)这三种操作都会对数据造成影响,因为事务处理能够保证一系列操作可以完全地执行或者完全不执行,因此在一个事务被提交以后,该事务中的任何一条 SQL 语句在被执行的时候,都会生成一条撤销日志(Undo Log),而撤销日志中记录的是和当前擦作完全相反的操作,比如删除的相反操作是插入,插入的相反操作是删除等。我们通常所说的事务回滚其实就是去执行这些插销日志里的相反操作,这同样告诉我们一个道理,只有事务中的一系列操作完全执行的情况下可以回滚,如果是在意外情况下导致事务中的一系列操作没有完全执行,这个时候我们是不能保证数据一定可以回滚的。

​  在数据库相关理论中,一个逻辑工作单元想要成为事务,就必须满足 ACID,即原子性、一致性、隔离性和持久性。(1):原子性这个概念其实就是指,一个事务内的所有 SQL 操作都是一个整体,因此只有所有的 SQL 操作都完全执行成功,该事务方可以认为提交成功。如果在提交事务过程中某一条 SQL 语句执行失败,则整个事务必须回滚到事务提交前的状态。(2):而一致性这个概念则是指,事务在完成的时候,必须要保证所有的数据都保持一致的状态,而落实到数据库的各个组成部分上,则要求开发人员能够保证数据、索引、约束、日志等在事务前后具备一致性。(3):隔离性这个概念主要针对并发,其核心思想就是不同的并发事务对数据产生的修改必须是相互隔离的,假设有两个不同的事务 A 和 B 并发执行,那么对 A 来讲,它在执行前的状态只有两种,即 B 执行前和 B 执行后。同理,对 B 来讲同样是如此,这样的特性我们就称为隔离性。(4):持久性相对简单,是指事务完成以后它对数据的影响是永久性的。

Redis 中的事务处理

​  好了,截止到目前为止,我们对数据库中事务处理的相关理论有了一个基本的认识,或许这个世界上的数据库系统千差万别,但我相信在事务处理这个问题上它们最终会殊途同归,就像我们解决并发过程中的冲突问题,常规的做法依然是加锁一样,这是我之所以要花费精力去理解和解释这些理论知识的原因,技术可谓是日新月异,如果我们总是一味地为新技术而疲于奔命,那么或许我们会渐渐地失去对这个行业的热爱,我相信原理永远比框架更为重要,没有系统学习过计算机专业的课程,这件事情让我至今都颇为遗憾。Redis 中的事务是可以视为一个队列,即我们可以通过 MULTI 开始一个事务,这相当于我们声明了一个命令队列。接下来,我们向 Redis 中提交的每条命令,都会被排入这个命令队列。当我们输入 EXEC 命令时,将触发当前事务,这相当于我们从命令队列中取出命令并执行,所以 Redis 中一个事务从开始到执行会经历开始事务命令入队执行事务三个阶段。下面是一个在 Redis 中使用事务的简单示例:

127.0.0.1:6379> MULTI
OK
127.0.0.1:6379> SET Book_Name "GIt Pro"
QUEUED
127.0.0.1:6379> SADD Program_Language "C++" "C#" "Jave" "Python" 
QUEUED
127.0.0.1:6379> GET Book_Name
QUEUED
127.0.0.1:6379> EXEC
1) OK
2) (integer) 4
3) "GIt Pro"

我们可以注意到 Redis 中的事务和通常意义上的事务基本上是一致的,即

  • 事务是由一系列操作组成的单个逻辑工作执行单元。特别地,因为在 Redis 中命令是存储在一个队列中,所以,事务中的所有命令都会按顺序执行,并且在执行事务的过程中不会被客户端发送的其它命令中断。
  • 事务是一个原子操作,事物中的命令只有两种执行结果,即全部执行或者全部不执行。如果客户端在使用 MULTI 命令开启事务后因为意外而没有执行 EXEC 命令,则事务中的所有命令都不会执行。同理,如果客户端在使用 MULTI 命令开启事务后执行 EXEC 命令,则事务中的所有命令都会执行。
  • Redis 中的事务可以使用 DISCARD 命令来清空一个命令队列,并放弃对事务的执行。如果命令在入队时发生错误,Redis 将在客户端调用 EXEC 命令时拒绝执行并取消事务,但是在 EXEC 命令执行后发生的错误,Redis 将选择自动忽略。

  我们知道,常见的并发控制方案主要有悲观锁和乐观锁两种方案,这里首先来解释下这两种概念。所谓悲观锁,顾名思义是一种悲观的策略,悲观锁认为:在对任何记录做修改前都应该加锁,如果加锁失败则表明该机录正在被修改,此时应该抛出异常;如果加锁成功则修改记录并在事务完成后解锁;如果有其它人修改则应该等待当前修改解锁或者是抛出异常。而所谓乐观锁,顾名思义是一种乐观的策略,乐观锁认为:每次从记录中查找数据别人都不会修改,因此这个过程中不需要加锁,但是在更新记录的时候,会通过版本号来判断别人是否修改过当前记录。

  通常来讲,乐观锁适合在写冲突相对较少的场合下,悲观锁适合在写冲突相对较多的场合下。Redis 中提供了一种称为 check-and-set 的机制,该机制主要通过 WATCH 命令来实现,其原理正是基于乐观锁的策略,Redis 会在执行 EXEC 命令前检查被监视的键对应的值是否发生变化,如果该值发生变化表明有人修改过这个键中存储的值,此时 Redis 将会自动取消当前事务。我们来看这个简单的例子:

WATCH Record_Count
val = GET Record_Count
val = val + 1
MULTI
SET Record_Count $val
EXEC

  在这个例子中,我们尝试在事务中对 Record_Count 做一个自增操作,这段代码在非并发的情况下是没有问题的,可是在并发的情况下,如果在执行 EXEC 命令前有一个用户修改了 Record_Count 的值,那么我们此时的结果就会比期望的结果小 1,现在我们有了 WATCH,Redis 就会对 Record_Count 进行监听,当 Redis 监听到该值发生变化的时候,这个事务就会被自动取消,进而避免造成冲突。

如何管理 Redis 的键

​  其实从切题的角度来讲,这篇博客基本上说清楚了事务处理问题,因此这篇博客虽然没有给大家带来多少惊喜,却依然可以非常恰到好处的结题,可是因为之前有朋友在博客中留言并问到 Redis 的键管理的问题,所以博主决定在这里简单的讨论下这个问题,鉴于博主和大家一样都是感刚接触 Redis,所以下面的观点仅仅是一家之言,如果有疑问可以在博客中留言,欢迎大家批评指正。我认为 Redis 中的键的管理,基本上有两种策略,即惰性删除和定期删除,而实际上这正是 Redis 默认的键删除策略:

redis 使用惰性删除定期删除两种策略来删除过期的键:惰性删除策略在碰到过期键时方进行删除操作,定期删除策略则每隔一段时间主动查找并删除过期键。

所以,基于这两种键删除策略,我们可以想到的做法有:

  • 对于临时变量可以采用临时键来存储,在数据库全局设定一个过期时间,由 Redis 在键过期后自动删除。
  • 对于持久化数据可以采用普通键来存储,通过服务器和客户端间定义协议来由客户端主动删除键。
  • 对于不同模块中的键采取统一规范的命名规则来命名键,从而解决 Redis 中键管理混乱的问题。
  • 设计合理的键回收机制,避免 Redis 使用超过 95%以上的内存,或者通过设置 Redis 中的最大内存容量及其内存策略来主动触发 Redis 对键的淘汰。具体可以参考:Sunnyxd - Redis 学习笔记-事务、键空间的维护与性能

  好了,这篇文章就是这样了,希望大家喜欢,下篇见!