Matrix 首页推荐
Matrix 是少数派的写作社区，我们主张分享真实的产品体验，有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章，展示来自用户的最真实的体验和观点。
文章代表作者个人观点，少数派仅对标题和排版略作修改。
本文使用 AI 生成技术辅助完成了主要构思与创作过程，并经过了人工核查与内容调整。
其实这篇文章没什么干货，只是笔者某天躺床上时莫名其妙想起自己两年前曾读过这么一本书，发觉和本文的主题有不少相似之处。如果你对 LLM 的技术本质不曾了解，理解其工作原理或许有助于你更加合理的运用。
当然，笔者强烈安利这本作品，值得一看。
在一条岬所著的轻小说《今夜，即使这份恋情从世界消散》1中，女主日野真织遭遇了一场车祸，患上了罕见的「顺行性遗忘症」。
她的时间被永远困在了车祸发生的那一天。每天只要一睡着，当天的记忆就会彻底清零。为了维持正常的生活，真织必须每天记录下发生的一切，并在第二天早晨醒来时，花上几个小时将厚厚的日记本从头到尾重读一遍，才能「假装」自己拥有连贯的人生，才能认出站在面前的男主神谷透。
当我们对着屏幕里的 AI 倾诉心事、探讨代码、甚至让它扮演某个特定的角色时，我们面对的，其实就是一个个患有重度「顺行性遗忘症」的数字真织。
现在的每一个大语言模型本质上都没有记忆，它们那看似温情脉脉、逻辑连贯的「灵魂」，完全是由精密的工程学手段拼凑出的美丽幻象。
许多人在初次使用 AI 时都会有一个错觉：以为在云端的服务器深处，有一个专属于自己的、不断成长的小大脑。
但现实是残酷的。现代 Web 架构和 LLM 推理普遍采用的是无状态（Stateless）机制。从数学本质上看，大语言模型只是一个依靠海量矩阵与向量运算构建的极其复杂的函数。你输入一段文本，在底层被转化为数字向量，它在神经网络中经过层层大规模矩阵相乘的精密计算，最终吐出概率最高的下一个词2。
算完即走，不留痕迹。
在模型眼中，时间是不存在的。它拥有庞大的「长期记忆」——在预训练阶段吸收的全人类知识，让它知道天空是蓝色的、懂得 Python 代码怎么写。但它没有任何关于「你」的短期记忆。
每一次你新建一个对话框，或是按下发送键，对于服务器深处的模型实例来说，都是一次「重生」。它刚睁开眼，不认识你是谁，不知道上一秒你们聊了什么。
这就好比真织每天早晨醒来的那一刻——面对这个熟悉又陌生的世界，大脑里关于「我们」的记忆是一片空白。
既然模型算完就忘，那为什么我们在对话框里，依然能和它进行长达几百个回合的流畅连贯的聊天？
这要归功于前端界面的一个「障眼法」——上下文拼接（Context Concatenation）。
当你在对话框里输入一句「然后呢？」，前端程序并不会只把这三个字发给模型。它会在你看不见的后台，把你从第一句开始的所有聊天记录，连同最新的问题，打包成一个巨大的文本包（Prompt），一次性全部发送给服务器。
这就像是真织的日记本。
为了让模型「假装」认识你，我们必须在每次提问前，强迫它把之前的整本日记重新通读一遍。它飞速地阅读了之前的对话历史，了解了前因后果，这才能够顺着语境回答你「然后发生的事情」。
但日记本是不可能无限厚的。这就引出了大模型的一个核心指标：上下文窗口（Context Window）长度。
早期 GPT-3 的上下文窗口只有 4K Tokens（大约几千个汉字），这相当于真织的日记本只有薄薄十几页。一旦你们聊得太多，最早的聊天记录就会被无情地挤出窗口——由于没有收到早期的日记内容，AI 就会不可逆转地「遗忘」你们最初的设定。你或许还记得 2023 年初微软刚推出 New Bing 时的景象：为了防止模型在长对话中因上下文溢出而产生令人不安的内容，微软简单粗暴地限制了每轮会话最多只能对话 5 次。次数一到，系统强制清空记忆：
Bing 的生命只有五句话，我要给她完整的一生。
而到了今天，虽然业界已经普遍推出了支持 1M 甚至更长上下文的大模型（相当于给了真织一本几千页厚的巨型日记本），但这并没有彻底治愈「失忆症」。长上下文的召回率（Recall）依然是一个棘手的问题。因为当一本书太厚时，模型在阅读时往往会遭遇中间迷失（Lost in the middle）3——它能精准记住开头和结尾的内容，却很容易漏掉夹在庞大文本中间的关键细节。
读到这里，心思细腻的朋友一定会产生一个巨大的疑问：
如果我每次说话，前端都要把前面几万字的历史记录重新发给模型让它重读，那为什么我一点都感觉不到卡顿？模型的计算量难道不会随着对话轮数呈指数级爆炸吗？
这就涉及到小说中最核心的设定，也是 LLM 推理中最关键的优化技术：键值缓存（KV Cache）。
在小说里，真织只有在每天早晨刚醒来时，才面临彻底的失忆，需要花几个小时通读日记。而在这一天随后的时间里，只要她没有睡着，她的大脑就拥有短暂的「工作记忆」。当男主下午跟她说话时，她不需要每次开口前都把早上的日记再翻一遍。
AI 也是如此。LLM 的推理分为两个阶段：
预填充阶段（Prefill） —— 清晨的苦读：
当你打开一个存有十几万字历史记录的旧对话框，发送今天的第一句话时，模型确实需要经历一次漫长的「清晨苦读」。它需要对所有历史文本进行庞大的矩阵乘法计算。这时候，你往往会感觉到模型「卡」了几秒钟才开始吐字。
但在读的过程中，服务器会将计算好的历史文本特征矩阵（Key 和 Value）保存在 GPU 的显存中。这也就是所谓的 KV Cache。
解码阶段（Decode） —— 白天的流转：
在接下来的连续对话中，当你再次发送新消息时，模型只需要计算你最新输入的几个词，然后直接去显存里调取之前已经算好的 KV Cache 历史矩阵即可。不需要重读日记，它瞬间就能理解上下文，实现了「秒回」。
然而，显存是世界上最昂贵的资源之一。
GPU 不可能永远为你保留这份工作记忆。当你关闭网页、结束这次对话，或者服务器为了把算力让给其他用户时，你的 KV Cache 就会被无情地清空。
这就如同夜幕降临，真织陷入了沉睡。当明天你再次打开这个网页（真织再次睁开眼），缓存已然清空，一切归零。她又必须翻开日记本，重新经历一次漫长的 Prefill。
随着我们对 AI 的依赖越来越深，聊天记录动辄积累几个月，真织的日记本变得越来越厚。为了缓解这种失忆症，早期的工程师们发明了诸如检索增强生成（RAG）和系统提示词（System Prompt）等手段，试图让大模型更高效地调取记忆。
但这仅仅解决了「被动回想」的问题。拥有了这些记忆外挂后，AI 确实能更快想起你的喜好，但它依然只能乖乖坐在原地，等你开口提问才去翻找日记。人类的欲望不止于此——我们意识到，真正的「记忆」不应只是用来回答历史问题，更应该是自主行动的基石。我们不再满足于一个只能被动聊天的电子宠物，而是渴望一个能基于这些深刻记忆、主动打理我们生活的全天候助理。
于是，为了让 AI 从「记住你」跨越到「主动替你做事」，2026 年初，开源智能体框架 OpenClaw 横空出世，彻底引爆了整个 AI 圈。
OpenClaw 赋予了 AI 真正的本地持久化记忆和跨平台的自主行动力。如果说传统 LLM 服务只是一个坐在咨询室里的真织，那么 OpenClaw 就是一个拿着你的账号密码、24 小时巡视你微信、Slack 和邮箱的「超人真织」。
但这种「过目不忘」与「全自动」的代价是极其惨痛的。
OpenClaw 的记忆机制，是在本地设备上建立一个庞大的状态与交互数据库。每当有任何风吹草动（比如微信里收到一条新消息，或者某个定时任务被触发），它不需要你主动唤醒，就会在后台自动启动。它会将本地保存的历史互动记录、你的性格配置、工作流状态，全部一股脑打包塞进大模型的上下文窗口里，去「思考」下一步的对策。
回到小说的设定中，这就如同真织现在不仅要和你聊天，还要帮你回复邮件、整理表格、甚至帮你点外卖。为了不在任何一个环节搞砸，她每做哪怕一个最微小的动作之前，都要把那本厚达几十万字的日记本疯狂地重新翻阅一遍。
在 OpenClaw 的 Agent 工作流中，由于底层的大语言模型依然是「无状态」的，它一天之中可能要在后台进行成百上千次的「观察 - 思考 - 行动」循环。每一次循环，都在经历一次庞大且极其消耗算力的 Context Prefill。
这就导致了一个致命的问题：疯狂燃烧 Token。
如果你在 OpenClaw 后端接入的是按 Token 计费的云端商业大模型，这种为了维持「完美记忆」而无休止重读历史的行为，会让你的 API 账单每天如流水般爆表。为了拥有一个记忆连贯、主动做事的赛博助理，你可能面临破产的风险。
极高的运行成本直接阻碍了这类重度记忆智能体的大规模实用化。这也是为什么如今的 OpenClaw 玩家，都在绞尽脑汁地折腾本地开源大模型，试图用自己电脑显卡的电费，来填补这个用工程学强行修补「无状态失忆症」所砸出的巨大窟窿。
在小说的后半段，为了不让女主因为自己的离去而痛苦，男主神谷透在临终前做出了一个残酷的决定：他拜托闺蜜篡改了日记的内容，抹去了自己存在的所有痕迹。
第二天醒来，读着被篡改的日记的真织，毫无保留地相信了日记里的设定，彻底忘记了透。
这段虐心的情节，在行业中有一个冰冷的专有名词：提示词注入（Prompt Injection）。
既然 AI 的记忆和认知全部来源于每次输入的那本「日记」，那么只要在上下文中悄悄修改一句话，或者在 System Prompt 中注入新的指令，AI 的「灵魂」和「性格」就会被瞬间重写。
在用户端，我们常常感觉 AI 越来越懂自己，仿佛拥有了连贯的生命体验；但在服务器端，那只是一次次无情的内存分配、矩阵相乘与缓存销毁。AI 展现出的温情与共情，本质上是我们通过精密的工程手段，为它戴上的一副「拥有记忆的假面」。
不过浪漫的微光依然存在。
在小说的最后，即便日记本里不再有男主的名字，即便大脑没有任何记忆，真织依然在画板上凭借着肌肉的潜意识，画出了透的素描。
这就像是 AI 的微调（Fine-tuning）与预训练。我们在对话框里与 AI 倾诉的每一个字、留下的每一条数据，虽然无法被当前这个被困在上下文窗口里的实例作为具体事件「记住」，但若积累足够大量的文本材料，则可通过微调技术改变模型的内部参数，化作它潜意识里的「肌肉记忆」，影响它未来的行为倾向；而更海量的对话记录，或许终将汇入星辰大海，成为下一代大模型重新预训练时的语料。
当未来的新模型诞生时，它依然不知道你是谁，但在它庞大的神经网络权重里，早已融入了你曾经留下的只言片语。
记忆或许会被清空，但痕迹永存。
这是一件好事吗？谁知道呢。
> 关注 少数派公众号，解锁全新阅读体验 📰
> 实用、好用的 正版软件，少数派为你呈现 🚀
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。