惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
L
Lohrmann on Cybersecurity
aimingoo的专栏
aimingoo的专栏
V
V2EX
S
Security Affairs
T
Threatpost
C
CXSECURITY Database RSS Feed - CXSecurity.com
IT之家
IT之家
J
Java Code Geeks
The Register - Security
The Register - Security
U
Unit 42
C
CERT Recently Published Vulnerability Notes
月光博客
月光博客
A
About on SuperTechFans
H
Hackread – Cybersecurity News, Data Breaches, AI and More
T
The Blog of Author Tim Ferriss
Cisco Talos Blog
Cisco Talos Blog
Project Zero
Project Zero
S
Schneier on Security
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
D
DataBreaches.Net
博客园 - 司徒正美
V
Vulnerabilities – Threatpost
T
Tor Project blog
Security Latest
Security Latest
T
The Exploit Database - CXSecurity.com
T
Threat Research - Cisco Blogs
Scott Helme
Scott Helme
Application and Cybersecurity Blog
Application and Cybersecurity Blog
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
M
MIT News - Artificial intelligence
云风的 BLOG
云风的 BLOG
小众软件
小众软件
L
LangChain Blog
Attack and Defense Labs
Attack and Defense Labs
Recent Commits to openclaw:main
Recent Commits to openclaw:main
P
Palo Alto Networks Blog
A
Arctic Wolf
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
C
Cyber Attacks, Cyber Crime and Cyber Security
博客园 - 叶小钗
D
Darknet – Hacking Tools, Hacker News & Cyber Security
L
LINUX DO - 最新话题
MongoDB | Blog
MongoDB | Blog
Webroot Blog
Webroot Blog
H
Hacker News: Front Page
Know Your Adversary
Know Your Adversary
Spread Privacy
Spread Privacy
AWS News Blog
AWS News Blog
Engineering at Meta
Engineering at Meta

博客园_首页

Plist 二进制格式 Milvus 和 PGVector,哪个更好? OpenClaw 已过时?在 VS Code 中运行 Hermes Agent! 第30篇文章:一个大三计科生的自白 Manim如何在数学公式中完美显示中文? Docker 部署 RocketMQ 5 并发编程核心概念辨析 C#事务处理最佳实践:别再让“主表存了、明细丢了”的破事发生 CLI 是什么?为什么大厂突然集体卷命令行? 【从0到1构建一个ClaudeAgent】协作-自主Agent UIImageView 设置图片不生效的原因排查 最小二乘问题详解20:无先验约束下的增量式SFM自由网平差 痞子衡嵌入式:大话双核i.MXRT1180之XIP应用里借助MU实现可靠Flash IAP的方法 AI Chat 封装, SemanticKerne.AiProvider.Unified 已发布 Windows下右键编辑js文件无法打开记事本——在注册表中使用环境变量 在后台服务中使用 Scoped 服务,为什么总是报错? H200 安装驱动并使用sglang启动模型 wireshark 抓包Trap上报告警内容 我用 AI 辅助开发了一系列小工具(2):图片压缩工具 [A Primer On MC and CC] 2.1 Memory Consistency 1 - 指令重排序和 SC 模型 Oracle数据库SCN推进技术详解与实践指南 玩转控件:封装个带图片的Label控件 Claude Code 4.7 真正该升级的不是模型,而是你的工作流 前端小白一句话,AI 帮我做了个颜值拉满的桌面媒体播放器。当代码不再是门槛,一句话编程就是现实。 5. WorkBuddy: 小龙虾的灵魂三件套,让你的小龙虾不只是工具 SQLite 分片方案实战:三种分片策略的深度对比 告别简陋 UI!一款基于 Fluent Design 和基于 WinUI 的开源免费、现代化的 Avalonia UI 控件库 关于二进制排列组合枚举的总结 AI开发-python-LangGraph框架(3-27-LangGraph从零实现大模型智能决策工作流) ElasticSearch主分片和副本分片概念详解 【002】HTTPS 粗解:证书、TLS 握手与对后端配置的影响 Hermes Agent 一周暴涨五万 Star,但我劝你别急着追 明明连接的是Redis的DB0,为什么能查到DB3的数据? 【从0到1构建一个ClaudeAgent】协作-Agent团队 熟悉电子元器件之后,电子小白下一步该怎么走? MAF快速入门(23)通过C#类定义Skills .NET 高级开发 | 手写一个对象映射框架 FastAPI数据库ORM怎么选?我肝了三个Demo后,终于不再纠结了 mysqldump 参数拾遗:在遗忘与铭记之间 C# .NET 周刊|2026年3月5期 Claude code入门 - 陈彦斌 一文学习入门 ThingsBoard 开源物联网平台 GitHub 热门项目 | 2026年04月16日 如何为GIT设置全局勾子,为每次提交追加信息 Number.isFinite和isFinite与isNaN()和Number.isNaN的区别 PortSwigger SQL注入LAB2 推荐一个测试人必备的Skills,从功能到性能全搞定(附详细实操和安装下载方式) 筑基期:掌握Odoo基础核心知识点02(Odoo XML 开发方式详解) GLM模型这么火,咱们用vllm也咧一个呗! 深入理解 AbortController:从底层原理到跨语言设计哲学 字符串学习笔记 多租户系统框架的基础模块设计和分析设计 Apache SeaTunnel Zeta 为什么能做到“又快又稳”? AI开发-python-LangGraph框架(3-26-LangGraph基本概念及第一个简单样例) Vue 3 组件通信,别只会用 Props 和 Emits 了,这几个狠活儿你得看看 ElasticSearch7.X版本配置密码 用Manim实现动态交点计算--从一个动点问题说起 团结引擎+Addressable+Instant Game打包抖音小游戏 function call 实战:让 LLM 自动判断 pod 异常、调用日志工具并完成故障分析 bubseek —— 让 Agent 的足迹,变成团队的洞察 通过 C# 读取并导出 PDF 书签 如何用 GitHub Actions 实现 Steam 自动化发布 【从0到1构建一个ClaudeAgent】并发-后台任务 .NET 高级开发 | 定制 ASP.NET Core 框架 电子小白:什么是运算放大器(运放) zero2Agent:面向大厂面试的 Agent 工程教程,从概念到生产的完整学习路线 堆上的ORW HC32F460 USB CDC通信异常:非对齐访问异常排查 20260413-Hyperbridge 攻击事件:发生在默克尔山上的验证绕过 那些喊着AI 要淘汰你的人,正在靠你的焦虑赚大钱! 深度学习进阶(八)Swin Transformer 最小二乘问题详解19:带先验约束的增量式SFM优化与实现 SnapTranslate 3.0 正式发布:全局划词翻译 + 完整英语学习闭环,一站式搞定查词、记词、复习 工作的意义、工作的困难认知再思考 .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 开了 TUN 模式还是直连?90% 的人都踩过这个坑 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术
MIT6.824 实验二 KV Server
技术漫游 · 2026-06-22 · via 博客园_首页

1. 这一 Lab 在学什么

Lab 2 是 单机 KV Server,看起来很简单:

Get(key) → value
Put(key, value)
Append(key, value) → oldValue

但有一个关键挑战:网络是不可靠的。Clerk(客户端)发的请求可能:

  • 丢失(请求或响应包都可能丢)
  • 长时间延迟后才到
  • 被打乱顺序

如果 Clerk 检测到 RPC 失败就重试,那同一个 Append("x", "abc") 可能
在服务器上被执行两次——结果就变成了 "abcabc"。这是不能接受的。

这一 Lab 的目标就是用会话语义(at-most-once) 让重试安全:
即便 Clerk 把同一个请求发了 100 次,服务器最多真正应用一次。

为什么不靠 TCP 的"有序可靠传输"解决?因为 TCP 只在一条连接内保证。
RPC 失败重连时是新的 TCP 连接,应用层必须自己做幂等。这是几乎所有
真实分布式系统都要处理的问题。

2. 实现关键:ClerkID + 单调 Seq

sequenceDiagram participant C as Clerk id=42 participant S as KVServer Note over C: seq=1 C->>S: Append k=a clerk=42 seq=1 Note over S: log[42] = (seq=1, oldValue="") S-->>C: oldValue="" Note over C: ackSeq=1, seq=2 Note over C: 重试场景 C->>S: Append k=b clerk=42 seq=2 ackSeq=1 Note over S: 收到 ackSeq=1,删除 log[42] 旧条目 Note over S: 应用 v=ab,log[42]=(seq=2, oldValue=a) S-->>C: oldValue=a(网络丢了,Clerk 没收到) Note over C: ack 还是 1,seq 不变 C->>S: Append k=b clerk=42 seq=2 ackSeq=1(重试) Note over S: log[42].seq == 2 == args.seq → 重复 S-->>C: oldValue=a(回放上次结果) Note over C: ackSeq=2

关键点:

  1. ClerkID 在 Clerk 创建时一次性随机产生(63 位),全局唯一。
  2. SeqID 在 Clerk 内单调递增。重试同一请求时复用 SeqID——这一点
    非常重要,是去重的基础。
  3. 服务端 log[clerkID] 只存该 Clerk 最近一条 已应用的写。原因:
    Clerk 是顺序发请求的,下一条新请求到达时一定意味着上一条已经被
    Clerk 收到过结果(否则 Clerk 还在重试)。
  4. AckSeq 让服务端可以及时清理 log——否则 log 会随 Clerk 永久增长。

3. 代码

common

package kvsrv

// Lab 2 单机 KV Server 的 RPC 协议定义。
//
// 核心难点:在不可靠网络下,客户端会重试 RPC,因此服务端**必须**判重,
// 否则 Append "x" 会被多次执行,最终值变成 "xxx"。
//
// 解法:每个 Clerk 在初始化时随机一个 64 位 ClerkID,请求按 SeqID
// 单调递增编号。服务端记下 (ClerkID → 最近一次完成的 Seq + 结果) 即可
// 安全地把重复请求 *直接返回上次结果*,而不重新执行。
//
// 内存优化:客户端在收到响应后,会下一次 RPC 里把 AckSeq 带回来,
// 服务端据此清理"已经被客户端确认收到"的旧结果。

// Op 标记一次写入是 Put 还是 Append(Get 不走这个 RPC)。
type Op int

const (
	OpPut    Op = iota // 覆盖
	OpAppend           // 拼接到旧值末尾,并返回拼接前的旧值(at-most-once 必需)
)

// PutAppendArgs 是 Put / Append 的统一参数。
type PutAppendArgs struct {
	Key   string
	Value string
	Op    Op

	ClerkID int64 // 唯一标识一个 Clerk
	SeqID   int64 // 该 Clerk 内单调递增
	AckSeq  int64 // 客户端已经"看到结果"的最大 SeqID,用于服务端清理缓存
}

type PutAppendReply struct {
	Value string // Append 返回拼接前的旧值;Put 留空
}

type GetArgs struct {
	Key string

	ClerkID int64
	SeqID   int64
	AckSeq  int64
}

type GetReply struct {
	Value string
}

Server

package kvsrv

// 单机 KV Server 实现。
//
// 关键不变量:对于同一个 (ClerkID, SeqID),服务端最多只把它**真正应用**到
// KV map 一次,但可以"返回上次的结果"任意多次。
//
// 内存模型:
//   - kv  map[string]string                : 实际数据
//   - log map[int64]lastEntry               : 每个 ClerkID 的最近一次结果(用于幂等)
//
// 当客户端在新请求里 AckSeq=N,意味着"我已经收到 SeqID ≤ N 的回复",
// 此时服务端就能安全地从 log 中删掉 SeqID ≤ N 的条目。
// (但只删等于 lastEntry.Seq 的,因为 log 每个 Clerk 只存最近一条。)

import (
	"sync"
)

type lastEntry struct {
	Seq   int64
	Value string // 上次返回给客户端的值(Append 用)
}

type KVServer struct {
	mu  sync.Mutex
	kv  map[string]string
	log map[int64]lastEntry // ClerkID → 最近一次完成的写
}

// StartKVServer 由测试代码调用。
func StartKVServer() *KVServer {
	return &KVServer{
		kv:  map[string]string{},
		log: map[int64]lastEntry{},
	}
}

// Get 是只读操作,理论上幂等,不需要 dedup;
// 但客户端仍可能把 AckSeq 带过来,我们顺便清理。
func (kv *KVServer) Get(args *GetArgs, reply *GetReply) {
	kv.mu.Lock()
	defer kv.mu.Unlock()

	kv.gcLocked(args.ClerkID, args.AckSeq)
	reply.Value = kv.kv[args.Key]
}

// PutAppend 是核心写路径,必须做幂等。
//
// 三种情况:
//   1) SeqID == log[clerk].Seq —— 重复请求,返回上次结果;
//   2) SeqID >  log[clerk].Seq —— 新请求,应用并记录;
//   3) SeqID <  log[clerk].Seq —— 不应该出现(Clerk 顺序发请求),
//                                 保险起见也直接 ignore。
func (kv *KVServer) PutAppend(args *PutAppendArgs, reply *PutAppendReply) {
	kv.mu.Lock()
	defer kv.mu.Unlock()

	kv.gcLocked(args.ClerkID, args.AckSeq)

	if last, ok := kv.log[args.ClerkID]; ok && last.Seq >= args.SeqID {
		if last.Seq == args.SeqID {
			// 已应用过,回放结果
			reply.Value = last.Value
		}
		// last.Seq > args.SeqID:迟到的旧请求,直接丢
		return
	}

	switch args.Op {
	case OpPut:
		kv.kv[args.Key] = args.Value
		// Put 不需要返回旧值,但仍记录 SeqID 让重复请求快速返回
		kv.log[args.ClerkID] = lastEntry{Seq: args.SeqID}
	case OpAppend:
		old := kv.kv[args.Key]
		kv.kv[args.Key] = old + args.Value
		reply.Value = old
		kv.log[args.ClerkID] = lastEntry{Seq: args.SeqID, Value: old}
	}
}

// gcLocked 在客户端确认 AckSeq 后清理 log 项。
// 调用前必须持有 kv.mu。
func (kv *KVServer) gcLocked(clerkID, ackSeq int64) {
	if ackSeq <= 0 {
		return
	}
	if last, ok := kv.log[clerkID]; ok && last.Seq <= ackSeq {
		delete(kv.log, clerkID)
	}
}

Client

package kvsrv

// Clerk —— KV Server 的客户端封装。
//
// 行为:
//   - Get 直接转发;服务器无状态,不需要去重也能正确。
//   - Put / Append 在不可靠网络下需要重试,所以每次请求带 ClerkID + 单调
//     递增的 SeqID,让服务器幂等去重。
//   - 上一次 RPC 成功后,把 SeqID 写到 ackSeq;下一次发新请求时一并带过去,
//     这样服务器可以安全清理 log,避免无限增长。

import (
	"crypto/rand"
	"math/big"

	"6.5840/labrpc"
)

type Clerk struct {
	server *labrpc.ClientEnd

	clerkID int64
	seq     int64 // 下一次请求要使用的 SeqID(递增分配)
	ackSeq  int64 // 已经成功收到响应的最大 SeqID
}

func MakeClerk(server *labrpc.ClientEnd) *Clerk {
	return &Clerk{
		server:  server,
		clerkID: nrand(),
		seq:     0,
		ackSeq:  0,
	}
}

// Get 一直重试,直到服务器返回。
func (ck *Clerk) Get(key string) string {
	args := GetArgs{Key: key, ClerkID: ck.clerkID, SeqID: ck.nextSeq(), AckSeq: ck.ackSeq}
	for {
		reply := GetReply{}
		if ok := ck.server.Call("KVServer.Get", &args, &reply); ok {
			ck.ackSeq = args.SeqID
			return reply.Value
		}
		// 网络失败:重试。复用同一个 SeqID 是安全的(服务器幂等)。
	}
}

// Put 不返回值。
func (ck *Clerk) Put(key, value string) {
	ck.putAppend(key, value, OpPut)
}

// Append 返回拼接 *前* 的旧值(论文里 at-most-once 的标准接口)。
func (ck *Clerk) Append(key, value string) string {
	return ck.putAppend(key, value, OpAppend)
}

func (ck *Clerk) putAppend(key, value string, op Op) string {
	args := PutAppendArgs{
		Key:     key,
		Value:   value,
		Op:      op,
		ClerkID: ck.clerkID,
		SeqID:   ck.nextSeq(),
		AckSeq:  ck.ackSeq,
	}
	for {
		reply := PutAppendReply{}
		if ok := ck.server.Call("KVServer.PutAppend", &args, &reply); ok {
			ck.ackSeq = args.SeqID
			return reply.Value
		}
	}
}

func (ck *Clerk) nextSeq() int64 {
	ck.seq++
	return ck.seq
}

// nrand 返回 63 位随机非负整数。Clerk 用它生成自己的全局唯一 ID。
func nrand() int64 {
	max := big.NewInt(int64(1) << 62)
	x, _ := rand.Int(rand.Reader, max)
	return x.Int64()
}