​​神经网络为当今最强大的人工智能系统提供动力，但它们仍然难以理解。我们不会用明确的、逐步的说明来编写这些模型。相反，他们通过调整数十亿个内部连接或“权重”来学习，直到他们掌握一项任务。我们设计了训练规则，但不设计出现的具体行为，结果是一个没人能轻易破译的密集连接网。 

随着人工智能系统变得更加强大，并在科学、教育和医疗保健领域的决策中产生实际影响，了解其工作原理至关重要。可解释性是指帮助我们理解模型为何产生特定输出的方法。我们有多种方式可以实现这一目标。 

例如，推理模型被激励在得出最终答案的过程中解释其工作。链式思维可解释性则利用这些解释来监控模型的行为。这一点立刻具有实用价值：对于识别诸如欺骗之类令人担忧的行为，当前推理模型的链式思维似乎提供了有价值的信息。然而，完全依赖这一特性是一种脆弱的策略，随着时间的推移，这可能会失效。

另一方面，机理可解释性是这项工作的重点，旨在完全逆转工程模型的计算。到目前为止，它还没有那么直接具有实用价值，但原则上可以更全面地解释模型的行为。通过在最细微的层次上解释模型行为，机理解释性可以减少假设，从而增强我们的信心。然而，从低层次细节到复杂行为解释的路径要长得多，也更加艰难。

可解释性支持实现几个关键目标，例如更好地进行监督，并提供不安全或战略不协调行为的早期预警信号。这也补充了我们其他的安全措施，例如可扩展的监督、对抗性训练和红队测试。 

在这项工作中，我们展示了：通过特定的训练方式，我们常常能够让模型变得更易于解释。我们认为，我们的工作是对密集网络事后分析的有前景的补充。 

这是一个非常雄心勃勃的赌注；从我们的工作到完全理解我们最强大模型的复杂行为，还有很长的路要走。然而，对于简单的行为，我们发现用我们的方法训练的稀疏模型包含一些小型、可分离的电路，这些电路既易于理解，又足以执行该行为。这表明，可能存在一条可行的途径来训练我们能够理解其机制的大型系统。

以往的机理可解释性工作从密集、纠结的网络开始，并试图拆解它们。在这些网络中，每个神经元都与成千上万个其他神经元相连。大多数神经元似乎都在执行各种不同的功能，使其看似无法理解。 

但是，如果我们训练的是神经元数量更多，但每个神经元只有几十个连接的非缠结神经网络呢？这样一来，所形成的网络也许会更简单，更容易理解。这是我们工作的核心研究重点。

本着这一原则，我们训练的语言模型采用了与 GPT‑2 等现有语言模型非常相似的架构，但做了一个小修改：我们强制模型的绝大部分权重为零。这限制了模型只能使用其神经元之间极少的可能连接。这是一个简单的更改，我们认为它从根本上理清了模型的内部计算。

我们希望测量稀疏模型计算的解耦程度。我们考虑了各种简单的模型行为，并检查我们是否能分离出模型中负责每种行为的部分——我们称之为电路。

我们精心策划了一套简单的算法任务。对于每个模型，我们都将其剪裁成了仍能执行该任务的最小电路，并检查了该电路的简洁程度。（详情请参阅我们的论文⁠（在新窗口中打开）。）我们发现，通过训练更大且更稀疏的模型，我们能够用越来越简单的电路生成能力更强的模型。

为了具体说明这一点，请考虑一个任务：一个在 Python 写代码上训练的模型必须用正确的引号类型来完成一个字符串。在 Python 中，‘hello’必须以单引号结束，而“hello”必须以双引号结束。模型可以通过记住打开字符串的引号类型，并在结尾处再现它来解决这个问题。

我们最具可解释性的模型中，似乎包含解耦的电路，而这些电路正是按照该算法本身在运作。

在我们的定义中，上述确切的连接足以完成任务——即使我们移除模型的其他部分，这个小电路仍然可以工作。它们也是必要的——删除这几条边会导致模型失败。

我们还研究了一些更复杂的行为。我们用于这些行为的电路（例如下文所示的变量绑定）更难以完全解释。即便如此，我们仍然可以获得相对简单的部分解释，这些解释可以预测模型的行为。

这项工作是朝着更大目标迈出的早期步骤：使模型计算更易于理解。但是，仍然有很长的路要走。我们的稀疏模型比前沿模型小得多，其计算的大部分仍未被解释。 

接下来，我们希望将我们的技术扩展到更大的模型，并解释更多模型的行为。通过列举在有能力的稀疏模型中支撑更复杂推理的电路模式，我们可以形成一种理解，帮助我们更好地针对前沿模型进行研究。

为了克服训练稀疏模型的低效问题，我们看到两条前进的道路。一种方法是从现有的密集模型中提取稀疏电路，而不是从头开始训练稀疏模型。从根本上说，密集模型的部署比稀疏模型更高效。另一种方法是开发更高效的技术来训练可解释性模型，这可能更容易投入生产。

请注意，我们在这里的发现并不能保证这种方法会扩展到更强大的系统，但这些早期结果是令人鼓舞的。我们的目标是逐步扩展我们可以可靠地解释的模型部分，并构建工具，使未来的系统更易于分析、调试和评估。