TL;DR：大语言模型并没有在脑中储存现成文章，它的核心机制是根据上下文反复预测下一个 token：这让它能流畅接话、解释概念，也解释了它为什么会在缺乏依据时，用同样笃定的口吻编造人名、论文和日期。理解这一点，就能理解它为什么“像人”，却并不可靠。

第一次和大语言模型聊天，很容易产生一种错觉：屏幕另一端像是坐着一个读过无数书、什么都能聊的人。它能续写邮件，能解释概念，也能顺着语气安慰你。可一旦追问一个冷门事实，它又可能用同样笃定的口吻编出不存在的人名、论文和日期。

这两种表现并不矛盾。要理解它，先放下“电子大脑”这个比喻，把它想成一位特别擅长接话、但不会自动查证的咖啡馆店员。

视频版（B站） ｜ 音频版（4 分 14 秒）｜ Spotify 订阅 ｜ 偏好阅读？文字版就在下方

一句话版本：它在反复预测下一个 token

假设你说：“今晚下雨，出门记得带……”

人很容易想到“伞”。语言模型做的事情与此有一点相似，但规模大得多：它先把输入切成一组 token，再结合前面的上下文，为下一个 token 计算概率。选出一个之后，它把这个 token 加回上下文，继续预测下一个，直到回答结束。

token 不一定等于一个完整汉字或单词。它只是模型处理文字时使用的基本单位；具体怎样切分，取决于模型采用的分词方法。

图中的候选词和概率只是工作原理示意，不是某个真实模型的测量结果。

2017 年的论文 Attention Is All You Need 提出了 Transformer 架构。它通过注意力机制处理序列中不同位置之间的关系，后来成为大语言模型的重要技术基础。2020 年的 Language Models are Few-Shot Learners 则展示了 GPT-3 这类自回归语言模型在扩大参数和训练数据规模后，可以仅凭文字指令或少量示例完成多种任务。

所以，“预测下一个 token”听起来很朴素，却不代表模型只能做简单的句子补全。模型从大量训练文本中学到语法、文体、概念之间的关联，以及常见的推理表达方式。当这些规律共同参与一次预测时，结果就可能表现为写作、问答、翻译或代码生成。

它不是在脑中翻找一篇现成文章

另一个常见误解是：模型先把互联网背下来，回答时再从某个数据库里找到对应段落。

训练确实可能让模型记住部分内容，尤其是重复出现或具有独特表达的文本。但通常情况下，训练材料中的语言规律会被编码进大量参数。生成回答时，模型根据参数和当前上下文计算后续内容，不是在资料库中逐条检索。

这里需要区分基础语言模型和完整的 AI 产品。一个产品可以在模型外部接入搜索引擎、知识库、计算器或其他工具。此时你看到的答案可能同时包含模型生成和外部检索结果，但检索能力不是“预测下一个 token”天然附带的事实核验机制。

它会用语言，但“理解”仍有争议

模型能正确处理“下雨”和“带伞”的关系，是否就说明它理解雨是什么？

这个问题没有一句公认的结论。Emily M. Bender 和 Alexander Koller 在 2020 年的论文 Climbing towards NLU 中强调，学习语言形式与获得由现实经验支撑的意义不是一回事。模型可以熟练处理词语之间的关系，却没有淋雨、撑伞或被冷风吹过的身体经验。

另一方面，只用“随机鹦鹉”也不足以描述今天模型表现出来的全部能力。它确实掌握了强大的语言模式处理能力，但不能据此直接推断它拥有人的意识、感受或理解方式。

为什么它会一本正经地编答案

模型的基本目标是生成在当前上下文中看起来合适的后续，而不是保证每句话都经过外部证据核对。如果问题含糊、训练材料不足，或者错误说法在语料中很常见，它仍可能生成连贯但不真实的答案。

2021 年的 TruthfulQA 用 817 个问题测试模型是否会复述人类常见的错误观念。在当时接受评测的模型中，最佳结果有 58% 的回答被判定为真实，而人类基线为 94%。这组数字不能代表今天任何具体产品的水平，但它说明了一个长期存在的问题：语言流畅度和事实真实性不是同一个指标。

因此，遇到下面这些内容，不要因为语气自信就直接采用：

• 具体日期、数字、论文名称和引用；
• 医疗、法律、财务等高风险建议；
• 冷门人物、机构和历史事件；
• 无法打开或无法在其他来源中找到的链接。

普通人怎样用得更稳妥

把语言模型当成一个反应很快、知识面很广、但偶尔会硬撑的助理，通常比把它当成权威更合适。

适合交给它的工作包括改写文字、整理材料、列出备选方案、模拟提问和解释概念。涉及重要事实时，可以要求它区分“已知事实”“推测”和“不确定项”，列出可核验的来源，再由人打开原始资料确认。

提问也不需要背诵所谓的“提示词咒语”。说明读者是谁、想解决什么问题、有哪些限制，再给一个例子，往往就能明显改善结果。与此同时，不要随手提交身份证号、病历、公司机密或未公开代码；能否输入某类数据，应以所在组织的制度和所用产品的数据政策为准。

使用时记住：它很会生成答案，但“很像答案”不等于“答案是真的”。

收看本期节目

视频版

音频：在线播放或下载 ｜ 播客主页：听懂 AI

原始资料与延伸阅读

本文由《听懂 AI》第 001 期访谈整理而成。该期节目从科普主题出发，并非改写某一篇原文；文末补充了 Transformer、GPT-3、语言理解争议和真实性评测的原始论文。

1. Ashish Vaswani 等，2017：Attention Is All You Need——Transformer 架构原始论文。
2. Tom B. Brown 等，2020：Language Models are Few-Shot Learners——GPT-3 与少样本学习论文。
3. Emily M. Bender、Alexander Koller，2020：Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data——语言形式、意义与“理解”的讨论。
4. Stephanie Lin、Jacob Hilton、Owain Evans，2021：TruthfulQA: Measuring How Models Mimic Human Falsehoods——语言模型真实性评测。

资料说明：节目第 001 期原始 sources.json 只记录了“向不懂技术的人解释大语言模型”这一主题，没有外部 URL。以上论文由本文编辑阶段补充，用于说明相关技术背景和争议，不代表节目逐句改写这些论文。