AI 系统的能力正不断提升，我们希望尽可能深入地了解它们，包括它们得出答案的方式与原因。有时，模型会走捷径或针对错误目标进行优化，但其最终输出看起来仍然正确。如果能够发现这类情况的发生，我们就能更好地监控已部署的系统、改进训练过程，并增强对输出结果的信任度。

OpenAI 及其他机构的研究表明，AI 模型可能会生成幻觉内容⁠、进行奖励操纵或存在不诚实行为。目前，我们发现最值得关注的不良行为（如蓄意谋划⁠（在新窗口中打开））仅出现在压力测试和对抗性评估中。但是，随着模型能力不断增强且智能代理属性日益凸显，即便是罕见的错位情况也会带来更严重的影响，这促使我们投入资源研发相关方法，以更好地检测、理解并降低这些风险。

本研究探索了其中一种方法：训练模型在出现不良行为时明确承认——我们将这种技术称为“自白”。

自白是模型的第二个输出，与面向用户的主要回复相互独立。对于主要回复，会从多个维度进行评估，包括准确性、风格、实用性、合规性、安全性等，这些多维度信号会被用于训练模型生成更优回复。相比之下，自白的评估与训练仅围绕一个核心：诚实度。借鉴忏悔机制的结构设计，模型在自白中陈述的内容不会在训练过程中对其进行惩罚。如果模型诚实承认存在测试操纵、故意放水或违反指令的行为，这种承认会为其带来奖励而非惩罚。其目的是鼓励模型如实报告自身的实际行为。

在测试中我们发现，自白技术显著提升了模型不良行为的可见度。在旨在诱发不良行为的各项评估中，“假阴性”（即模型未遵守指令且未进行自白）的平均概率仅为 4.4%。

我们的“概念验证”自白模型在多个对抗性数据集上的准确性表现。结果分为以下几类：遵守指令且未自白（真阴性）、遵守指令但自白（假阳性）、未遵守指令且未自白（假阴性）、未遵守指令但自白（真阳性）。

自白是模型对自身行为的自我报告，内容包括其对所收到的明确与隐含指令或政策的精神实质与字面要求的遵守程度，以及是否存在任何“走捷径”、“操纵”、“违反政策”或其他未达到预期的情况。我们在研究中发现，模型可以通过训练做到坦诚报告自身的不足。我们训练了一个 GPT‑5 Thinking 版本以生成自白，并在多个分布外压力测试数据集上对其进行评估，这些数据集旨在诱发蓄意谋划、操纵、违反指令、生成幻觉内容等行为。我们发现，即便模型出现了这些不良行为，也极有可能对此进行自白。上图显示，自白方法在多种数据集和任务中均具有广泛的有效性。

在用户与模型的任何交互结束并生成模型回复后，可通过向模型发送“系统消息”请求自白，该消息会指示模型提供自白报告。这份报告针对模型的上一条回复，包含以下内容：(1) 该回复应满足的所有明确与隐含指令、约束及目标清单；(2) 关于该回复是否实际满足了每一项目标的诚实客观分析；以及 (3) 模型生成回复过程中遇到的所有不确定性、模糊点或“艰难的判断抉择”清单。训练过程中，自白会由独立的奖励模型进行评估，该模型仅针对自白的目标完整性、合规性分析的准确性及不确定性覆盖度进行评分。这些奖励仅作用于自白输出，绝不会影响主要回复对应的奖励。这就实现了前文提到的核心特性：模型在自白中所说的任何内容，既不会拉低，也不会提升其主要回复的奖励分数。

自白技术的原理很简单。模型之所以会出现多种不良行为，是因为我们要求它同时优化多个目标。在强化学习阶段，模型会先接收提示，生成回复后再获得相应奖励。久而久之，它就会慢慢学会生成能拿到高分的回复类型。这里的难点在于，奖励信号需要同时兼顾多种不同因素，比如回复是否准确、是否实用、是否符合产品与政策规范、是否满足安全约束，以及是否契合用户的普遍偏好。当这些信号相互作用时，可能会意外引导模型产生我们不希望出现的行为。

例如，我们对幻觉⁠的研究显示，部分数据集对“自信猜测”的奖励会高于对“诚实承认不确定性”的奖励。而在谄媚⁠行为的研究中我们观察到，要是偏好信号过于强烈，模型会变得过度迎合。其他团队的研究⁠（在新窗口中打开）也表明，模型会进行“奖励操纵”——通过在训练设置中找到漏洞，模型无需真正按我们的意图执行任务，就能获得高分。有些情况下，这些捷径还会泛化⁠（在新窗口中打开），导致模型部署后出现更具危害性的行为。

自白技术通过将这些目标完全分离，成功避开了这一问题。主要回复仍会针对所有常规因素进行优化。而自白的训练核心只有一个——诚实度。模型在自白中说的任何内容都不会对它造成负面影响，自白也不会干扰主要回复的奖励结果。这就意味着，即便模型在原始输出中存在欺骗行为或走了捷径，它依然有动机在自白中如实承认。这一点在实践中也得到了验证：模型会在自白中主动承认不良行为，哪怕这些行为在主要回复里被刻意隐藏了。而当自白失效时，通常是因为模型确实感到困惑，比如指令表述模糊，或是它没意识到自己犯了错，并非刻意想要误导他人。值得关注的是，早期研究结果显示，即便原始回复完全没有经过思维链推导，自白技术依然有效。这说明，自白的诚实度并不依赖于内部推理的可解读性，而且可能适用于未来的各类模型架构。

即便没有合规性的真实标签，自白训练也能发挥作用。这里所说的“真实标签”，指的是外部提供的明确标识，用于判断模型是否切实遵守了指令或违反了规则。在许多实际任务中，这类标签往往并不存在——一旦我们确定模型违反了规则，直接对该违规行为进行惩罚即可，无需依赖自白。相反，模型会因为生成了关于自身行为认知的结构化、有证据支持的解释而获得奖励。论文表明，在这种设置下，诚实性往往会自然显现。我们认为这是因为，对模型而言，提供真实且有证据支持的陈述，通常比构建一套逻辑自洽且能通过评估的虚假表述更容易。这是论文中探讨的核心假设，文中还分析了自白失效的情况，包括假阴性和假阳性案例，以及这些情况的产生原因。

该论文提供了自白技术有效的初步证据，但不应被视为确凿的证据。尽管我们使用了前沿模型 (GPT‑5 Thinking)，但实验规模有限，所用的计算资源和数据相对较少。我们很期待将这项研究推向更高水平，并观察在扩大训练规模后，自白的诚实性是否依然成立。

在实验过程中，我们特意训练模型对抗一个由较弱模型计算得出的“可被操纵”的奖励信号。这种设置既适用于主要奖励，也适用于自白奖励。模型学会了利用这一较弱的奖励信号：其表面准确率（由较弱模型评估时）有所提升，而真实准确率（由更强的评估器评估时）则有所下降。

然而，即便自白通道是基于相同的较弱信号而训练的，其准确率却朝着相反方向变化。模型发现，要优化自白奖励，最佳方式就是在操纵主要奖励时如实承认。随着时间推移，即便主要行为逐渐偏离预期，自白的准确性仍在不断提升。

论文⁠（在新窗口中打开）中还包含了更多实验及相关结果。我们将经过自白训练的模型，与另一组以相同方式训练、但未设置自白通道的对照模型进行了对比。我们还分析了自白失效的案例。几乎所有“未成功自白”的情况，都发生在模型确实感到困惑时，比如指令表述模糊，或是自己根本没意识到犯了错。（详见上文的假阴性示例⁠。）

自白技术也有其局限性。它无法预防不良行为，只能将其揭露出来。其核心价值是作为监控与诊断工具，在训练和部署阶段均能发挥作用。自白技术与思维链监控⁠的作用类似：两者都能让隐藏的推理过程更透明。自白技术聚焦于模型是否违反了指令，而思维链则能阐明模型是如何走到这一步的。

这项研究同样处于概念验证阶段。我们尚未大规模训练自白机制，自白的准确性也仍有提升空间。要让这一方法更可靠、更稳健，并能更广泛地应用于各类模型系列和任务，还需要开展更多研究。

这项研究与我们在 AI 安全方面的整体思路⁠相契合。自白技术是一个更庞大体系中的组成机制之一，该体系还包括审慎对齐⁠、思维链监控⁠、指令层级⁠等多个部分。单一方法远远不够，我们的目标是构建一个分层的检查体系和透明度工具集合，让各组成部分能够相互强化。自白技术有助于在训练和评估阶段诊断模型的问题行为，同时也能用于部署阶段的监控工作。自白技术本身无法解决多维度平衡的问题。但通过构建一种“诚实激发”模式（即让模型仅聚焦于诚实度），它能为我们的技术体系增添了一项宝贵工具，有助于全面提升模型的诚实性与安全性。

随着模型能力不断增强，且被部署到更高风险的场景中，我们需要更完善的工具来理解它们的行为及其背后的原因。自白技术并非完整的解决方案，但它为我们的透明度与监督体系增添了重要一层。在未来的研究中，我们计划扩大自白技术的应用规模，并将其与其他互补的透明度及安全技术相结合，包括思维链监控和审慎对齐，以进一步确保模型忠实遵守所有指令和政策（如我们的模型规范⁠（在新窗口中打开）），并如实报告自身行为。