惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

酷 壳 – CoolShell
酷 壳 – CoolShell
aimingoo的专栏
aimingoo的专栏
Microsoft Security Blog
Microsoft Security Blog
NISL@THU
NISL@THU
T
Threatpost
T
The Exploit Database - CXSecurity.com
T
Threat Research - Cisco Blogs
S
Securelist
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
人人都是产品经理
人人都是产品经理
B
Blog RSS Feed
S
Secure Thoughts
MyScale Blog
MyScale Blog
O
OpenAI News
P
Palo Alto Networks Blog
美团技术团队
C
Cyber Attacks, Cyber Crime and Cyber Security
TaoSecurity Blog
TaoSecurity Blog
量子位
L
Lohrmann on Cybersecurity
G
GRAHAM CLULEY
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
T
Tailwind CSS Blog
Know Your Adversary
Know Your Adversary
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Simon Willison's Weblog
Simon Willison's Weblog
宝玉的分享
宝玉的分享
PCI Perspectives
PCI Perspectives
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
C
Cybersecurity and Infrastructure Security Agency CISA
T
Tenable Blog
I
InfoQ
D
Darknet – Hacking Tools, Hacker News & Cyber Security
Microsoft Azure Blog
Microsoft Azure Blog
Recent Announcements
Recent Announcements
S
Security @ Cisco Blogs
S
Schneier on Security
B
Blog
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
The Cloudflare Blog
AWS News Blog
AWS News Blog
IT之家
IT之家
V
Vulnerabilities – Threatpost
The Hacker News
The Hacker News
H
Heimdal Security Blog
I
Intezer
A
Arctic Wolf
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
H
Help Net Security
W
WeLiveSecurity

博客园_首页

Linux实操--组管理、权限管理和定时任务 Java + EasyExcel 实现单个接口导出多个Excel Mem0 源码解析系列(二):提示词工程的深度剖析 Openclaw TaskFlow究竟是什么?和普通Skill技能有什么区别 博文阅读密码验证 - 博客园 嘉立创开源:应该是全网MicroPython教程最多的开发板 Hermes Agent 集成实践:从协议到生产 2026年AI编程工具横评:Cursor、Codex、Claude Code、Zed、Windsurf Java程序员必看的RAG入门教程 2026 AI效率神器:Superpowers + Claude Code 保姆级教程 本地大模型部署全攻略:从 0 到 1 玩转 Ollama 【从0到1构建一个ClaudeAgent】内存管理-上下文压缩 .NET 高级开发 | 设计、实现一个事件总线框架 电子小白入门之NE555 3. WorkBuddy:隐藏玩法,一键召唤专家,让 AI 以"专家身份"给你干活 和AI一起搞事情#3:Claude Teammate 游戏开发翻车实录 【OpenClaw】通过 Nanobot 源码学习架构---(7)Memory C# .NET 周刊|2026年3月3期 我在 Debian 11 上把 K8s 单机搭起来了,过程没你想的那么顺(/opt 目录版) 深度学习进阶(七)Data-efficient Image Transformer CLI+Skill搭建浏览器AI自动化框架,告别一切重复枯燥任务 告别Token账单无底洞:OpenClaw本地部署,重塑企业数据主权的唯一解 FastAPI+Vue:文件分片上传+秒传+断点续传,这坑我帮你踩平了! SBTI 爆火后,我做了个程序员版的 CBTI。。已开源 + 附开发过程 多模态检索开始进入工程期:用 Sentence Transformers 搭建可落地的 Multimodal RAG 100多行代码实现一个最简单的Agent(用ReAct) Claude Code 通关手册(八):推荐 5 个 Hooks,代码质量提升 3 倍 老板:“有人截图了!”。安全部门:“收到,马上查暗水印!” - why技术 技术之外,皆是人间 C#/.NET/.NET Core技术前沿周刊 | 第 69 期(2026年4.01-4.12) Snack JSONPath 项目架构分析 Claude Code Buddy 小析:一个非核心功能,如何体现产品的细节完成度 AI新时代下的图床管理方案-Cloudflare图床+MCP+Skills方案指南 化繁为简:顺丰速运App如何通过 HarmonyOS SDK实现专业级空间测量 从零实现富文本编辑器#13-React非编辑节点的内容渲染 AI开发-python-langchain框架(3-23-OpenAI Functions风格Tool Calling智能助手) .NET + AI 进阶实战:基于类的技能开发 - 打造可治理的 Agent 能力模块 【从0到1构建一个ClaudeAgent】规划与协调-技能 上周热点回顾(4.6-4.12) 电子小白的工具三件套:面包板、杜邦线、万能板 单表五亿数据的查询优化 | Mysql、StarRocks 2. WorkBuddy:从“我是谁”到“帮我干活” C# 如何减少代码运行时间:7 个实战技巧 基于HelixToolkit.SharpDX 渲染3D模型 - 笺上知微 从零开始的双臂具身VLA起源及现阶段发展综述 - SkyXZ 记对 xonsh shell 的使用, 脚本编写, 迁移及调优 - pluvium27 受够了Vibe Coding的失控?换个起点,让AI事半功倍 从开始配置漏洞环境到漏洞复现流程 - 難しい 关于10年工作经验的程序员对OpenClaw的实战经验分享以及看法 - 虚无境 Any metadata 的内存布局 C# .NET 周刊|2026年3月2期 - InCerry 我帮你测过了,测试圈排名第二的 Skill 依然很牛逼 Skill Discovery | 无监督技能发现的经典工作总结 - MoonOut PbootCMS 网站内容数量多导致访问慢?这些实用优化方案帮你提速! - 家兴网络技术工作室 上下文工程是什么?过时了么?一文讲明白! - 一枫说码 网站漏洞怎么发现并修复?一篇实用指南(附完整流程) - 家兴网络技术工作室 开了 TUN 模式还是直连?90% 的人都踩过这个坑 Github日报|2026年04月12日 - AI一族 AScript扩展多种脚本语言 - rockey627 AI 学习笔记:Agent 的记忆机制 你能被装进一个文件里吗?——7 万人把同事"蒸馏"成了 AI - 我没有三颗心脏 Claude Code 通关手册(七):给 AI 装上技能包——Skills 完全指南 - 暮色之狐 在浏览器中快速编辑代码:VSCode Web 集成实践 - Newbe36524 蒸馏自己 skill?基于 Deepseek 的蒸馏器,丐版蒸馏方式,简单便捷 - To_Carpe_Diem Spring AI Aliababa和AgentScope,哪个更好? - 苏三说技术 Etsy 把 1000 个 MySQL 分片迁进 Vitess:425TB 数据背后的真正问题不是性能,而是运维规模 MicroPython LVGL基础知识和概念:底层渲染与性能优化 - FreakStudio 数据库草图算法 Python 潮流周刊#146:CPython 引入 Rust 的进展 - 豌豆花下猫 最小生成树 - mofei1116 红日靶场七:从外网入口、容器逃逸到 AD 接管的完整利用链复盘 - YouDiscovered1t 分享四款开源且实用的 Kafka 管理工具 - 追逐时光者 vLLM 权重加载机制全解析:从挑战到理想架构 LCT 学习笔记 - ACehomoxue Avalonia UI 12.0.0 正式发布:架构演进和性能飞跃 - 张善友 当 AI Agent 把调用链拉长,延迟开始成为一门生意 conhost.exe 无法显示 U+2717 - 145a 太秀了,我把自己蒸馏成了 Skill!已开源 - 程序员鱼皮 ASP.NET Core 内存缓存实战:一篇搞懂该怎么配、怎么避坑 基于 Ghostty 带有分割标签页和为 Claude 编程设计的通知终端 - BugShare AI 焊死入口:教育的“操作系统级”重塑 - 郝hai 初级Java开发工程师使用sql脚本编写代码的过程是简单而且不糊涂 - CoderOilStation Claude Code通关手册(六):MCP协议完全指南 - 暮色之狐 边框灯光环绕动画特效实现指南 - Newbe36524 开源:子木蒸馏版的 SEO 审计工具 seo-audit-skill v1.0 我所理解的Python元模型 【从0到1构建一个ClaudeAgent】规划与协调-TodoWrite - 程序员Seven Claude 和 Codex 在审计 Skill 上性能差异探究 - ACai_sec AScript如何实现中文脚本引擎 - rockey627 【渗透测试】HTB Season10 Garfield 全过程wp - dynasty_chenzi Android 开发者为什么必须掌握 AI 能力?端侧视角下的技术变革 树状数组正确性证明 - AC-wyr 你的 AI 焦虑,可能比 AI 本身更危险——ATM 机没有消灭银行柜员,但恐慌消灭了你的判断力 - 我没有三颗心脏 一个拉胯的分库分表方案有多绝望?整个部门都在救火! - 冰河团队 动态规划入门必学之走方格问题 - Ofnoname PostgREST 与 PostgreSQL 角色权限配置全解析(生产级实践) - SheepDog1998 使用 UEFI 图形输出协议 GOP 在屏幕上显示图像的方法 - 阿源- Claude Code通关手册(五):组建你的AI专家团队,子代理系统 - 暮色之狐 一个程序员到架构师的催婚路之感悟(整整10年后的催婚相亲感悟) - MisterLip 用 Agent Skill 自动生成工作周报 - 赵康
MIT6.824 实验二 KV Server
技术漫游 · 2026-06-22 · via 博客园_首页

1. 这一 Lab 在学什么

Lab 2 是 单机 KV Server,看起来很简单:

Get(key) → value
Put(key, value)
Append(key, value) → oldValue

但有一个关键挑战:网络是不可靠的。Clerk(客户端)发的请求可能:

  • 丢失(请求或响应包都可能丢)
  • 长时间延迟后才到
  • 被打乱顺序

如果 Clerk 检测到 RPC 失败就重试,那同一个 Append("x", "abc") 可能
在服务器上被执行两次——结果就变成了 "abcabc"。这是不能接受的。

这一 Lab 的目标就是用会话语义(at-most-once) 让重试安全:
即便 Clerk 把同一个请求发了 100 次,服务器最多真正应用一次。

为什么不靠 TCP 的"有序可靠传输"解决?因为 TCP 只在一条连接内保证。
RPC 失败重连时是新的 TCP 连接,应用层必须自己做幂等。这是几乎所有
真实分布式系统都要处理的问题。

2. 实现关键:ClerkID + 单调 Seq

sequenceDiagram participant C as Clerk id=42 participant S as KVServer Note over C: seq=1 C->>S: Append k=a clerk=42 seq=1 Note over S: log[42] = (seq=1, oldValue="") S-->>C: oldValue="" Note over C: ackSeq=1, seq=2 Note over C: 重试场景 C->>S: Append k=b clerk=42 seq=2 ackSeq=1 Note over S: 收到 ackSeq=1,删除 log[42] 旧条目 Note over S: 应用 v=ab,log[42]=(seq=2, oldValue=a) S-->>C: oldValue=a(网络丢了,Clerk 没收到) Note over C: ack 还是 1,seq 不变 C->>S: Append k=b clerk=42 seq=2 ackSeq=1(重试) Note over S: log[42].seq == 2 == args.seq → 重复 S-->>C: oldValue=a(回放上次结果) Note over C: ackSeq=2

关键点:

  1. ClerkID 在 Clerk 创建时一次性随机产生(63 位),全局唯一。
  2. SeqID 在 Clerk 内单调递增。重试同一请求时复用 SeqID——这一点
    非常重要,是去重的基础。
  3. 服务端 log[clerkID] 只存该 Clerk 最近一条 已应用的写。原因:
    Clerk 是顺序发请求的,下一条新请求到达时一定意味着上一条已经被
    Clerk 收到过结果(否则 Clerk 还在重试)。
  4. AckSeq 让服务端可以及时清理 log——否则 log 会随 Clerk 永久增长。

3. 代码

common

package kvsrv

// Lab 2 单机 KV Server 的 RPC 协议定义。
//
// 核心难点:在不可靠网络下,客户端会重试 RPC,因此服务端**必须**判重,
// 否则 Append "x" 会被多次执行,最终值变成 "xxx"。
//
// 解法:每个 Clerk 在初始化时随机一个 64 位 ClerkID,请求按 SeqID
// 单调递增编号。服务端记下 (ClerkID → 最近一次完成的 Seq + 结果) 即可
// 安全地把重复请求 *直接返回上次结果*,而不重新执行。
//
// 内存优化:客户端在收到响应后,会下一次 RPC 里把 AckSeq 带回来,
// 服务端据此清理"已经被客户端确认收到"的旧结果。

// Op 标记一次写入是 Put 还是 Append(Get 不走这个 RPC)。
type Op int

const (
	OpPut    Op = iota // 覆盖
	OpAppend           // 拼接到旧值末尾,并返回拼接前的旧值(at-most-once 必需)
)

// PutAppendArgs 是 Put / Append 的统一参数。
type PutAppendArgs struct {
	Key   string
	Value string
	Op    Op

	ClerkID int64 // 唯一标识一个 Clerk
	SeqID   int64 // 该 Clerk 内单调递增
	AckSeq  int64 // 客户端已经"看到结果"的最大 SeqID,用于服务端清理缓存
}

type PutAppendReply struct {
	Value string // Append 返回拼接前的旧值;Put 留空
}

type GetArgs struct {
	Key string

	ClerkID int64
	SeqID   int64
	AckSeq  int64
}

type GetReply struct {
	Value string
}

Server

package kvsrv

// 单机 KV Server 实现。
//
// 关键不变量:对于同一个 (ClerkID, SeqID),服务端最多只把它**真正应用**到
// KV map 一次,但可以"返回上次的结果"任意多次。
//
// 内存模型:
//   - kv  map[string]string                : 实际数据
//   - log map[int64]lastEntry               : 每个 ClerkID 的最近一次结果(用于幂等)
//
// 当客户端在新请求里 AckSeq=N,意味着"我已经收到 SeqID ≤ N 的回复",
// 此时服务端就能安全地从 log 中删掉 SeqID ≤ N 的条目。
// (但只删等于 lastEntry.Seq 的,因为 log 每个 Clerk 只存最近一条。)

import (
	"sync"
)

type lastEntry struct {
	Seq   int64
	Value string // 上次返回给客户端的值(Append 用)
}

type KVServer struct {
	mu  sync.Mutex
	kv  map[string]string
	log map[int64]lastEntry // ClerkID → 最近一次完成的写
}

// StartKVServer 由测试代码调用。
func StartKVServer() *KVServer {
	return &KVServer{
		kv:  map[string]string{},
		log: map[int64]lastEntry{},
	}
}

// Get 是只读操作,理论上幂等,不需要 dedup;
// 但客户端仍可能把 AckSeq 带过来,我们顺便清理。
func (kv *KVServer) Get(args *GetArgs, reply *GetReply) {
	kv.mu.Lock()
	defer kv.mu.Unlock()

	kv.gcLocked(args.ClerkID, args.AckSeq)
	reply.Value = kv.kv[args.Key]
}

// PutAppend 是核心写路径,必须做幂等。
//
// 三种情况:
//   1) SeqID == log[clerk].Seq —— 重复请求,返回上次结果;
//   2) SeqID >  log[clerk].Seq —— 新请求,应用并记录;
//   3) SeqID <  log[clerk].Seq —— 不应该出现(Clerk 顺序发请求),
//                                 保险起见也直接 ignore。
func (kv *KVServer) PutAppend(args *PutAppendArgs, reply *PutAppendReply) {
	kv.mu.Lock()
	defer kv.mu.Unlock()

	kv.gcLocked(args.ClerkID, args.AckSeq)

	if last, ok := kv.log[args.ClerkID]; ok && last.Seq >= args.SeqID {
		if last.Seq == args.SeqID {
			// 已应用过,回放结果
			reply.Value = last.Value
		}
		// last.Seq > args.SeqID:迟到的旧请求,直接丢
		return
	}

	switch args.Op {
	case OpPut:
		kv.kv[args.Key] = args.Value
		// Put 不需要返回旧值,但仍记录 SeqID 让重复请求快速返回
		kv.log[args.ClerkID] = lastEntry{Seq: args.SeqID}
	case OpAppend:
		old := kv.kv[args.Key]
		kv.kv[args.Key] = old + args.Value
		reply.Value = old
		kv.log[args.ClerkID] = lastEntry{Seq: args.SeqID, Value: old}
	}
}

// gcLocked 在客户端确认 AckSeq 后清理 log 项。
// 调用前必须持有 kv.mu。
func (kv *KVServer) gcLocked(clerkID, ackSeq int64) {
	if ackSeq <= 0 {
		return
	}
	if last, ok := kv.log[clerkID]; ok && last.Seq <= ackSeq {
		delete(kv.log, clerkID)
	}
}

Client

package kvsrv

// Clerk —— KV Server 的客户端封装。
//
// 行为:
//   - Get 直接转发;服务器无状态,不需要去重也能正确。
//   - Put / Append 在不可靠网络下需要重试,所以每次请求带 ClerkID + 单调
//     递增的 SeqID,让服务器幂等去重。
//   - 上一次 RPC 成功后,把 SeqID 写到 ackSeq;下一次发新请求时一并带过去,
//     这样服务器可以安全清理 log,避免无限增长。

import (
	"crypto/rand"
	"math/big"

	"6.5840/labrpc"
)

type Clerk struct {
	server *labrpc.ClientEnd

	clerkID int64
	seq     int64 // 下一次请求要使用的 SeqID(递增分配)
	ackSeq  int64 // 已经成功收到响应的最大 SeqID
}

func MakeClerk(server *labrpc.ClientEnd) *Clerk {
	return &Clerk{
		server:  server,
		clerkID: nrand(),
		seq:     0,
		ackSeq:  0,
	}
}

// Get 一直重试,直到服务器返回。
func (ck *Clerk) Get(key string) string {
	args := GetArgs{Key: key, ClerkID: ck.clerkID, SeqID: ck.nextSeq(), AckSeq: ck.ackSeq}
	for {
		reply := GetReply{}
		if ok := ck.server.Call("KVServer.Get", &args, &reply); ok {
			ck.ackSeq = args.SeqID
			return reply.Value
		}
		// 网络失败:重试。复用同一个 SeqID 是安全的(服务器幂等)。
	}
}

// Put 不返回值。
func (ck *Clerk) Put(key, value string) {
	ck.putAppend(key, value, OpPut)
}

// Append 返回拼接 *前* 的旧值(论文里 at-most-once 的标准接口)。
func (ck *Clerk) Append(key, value string) string {
	return ck.putAppend(key, value, OpAppend)
}

func (ck *Clerk) putAppend(key, value string, op Op) string {
	args := PutAppendArgs{
		Key:     key,
		Value:   value,
		Op:      op,
		ClerkID: ck.clerkID,
		SeqID:   ck.nextSeq(),
		AckSeq:  ck.ackSeq,
	}
	for {
		reply := PutAppendReply{}
		if ok := ck.server.Call("KVServer.PutAppend", &args, &reply); ok {
			ck.ackSeq = args.SeqID
			return reply.Value
		}
	}
}

func (ck *Clerk) nextSeq() int64 {
	ck.seq++
	return ck.seq
}

// nrand 返回 63 位随机非负整数。Clerk 用它生成自己的全局唯一 ID。
func nrand() int64 {
	max := big.NewInt(int64(1) << 62)
	x, _ := rand.Int(rand.Reader, max)
	return x.Int64()
}