技术的青春期：直面并克服强大 AI 的风险（Dario Amodei，Anthropic 的 CEO，2026） - Sunset 的重构博客

Source，许可协议未知，gemini-3.1-pro-preview翻译。

技术的青春期

直面并克服强大 AI 的风险

2026 年 1 月

在卡尔·萨根（Carl Sagan）的小说《接触》（Contact）的电影版中有这样一个场景：女主角是一位探测到外星文明首个无线电信号的天文学家，她正被考虑作为人类代表去与外星人接触。面试她的国际专家小组问：“如果你只能问（外星人）一个问题，那会是什么？”她回答说：“我会问他们，‘你们是怎么做到的？你们是如何进化的，又是如何熬过这个技术青春期而没有自我毁灭的？’”当我思考人类现在在 AI 领域所处的位置——我们正处于什么边缘——时，我的脑海中总会浮现那个场景，因为这个问题太适合我们当前的处境了，我多希望我们能有外星人的答案来指引我们。我相信我们正在进入一个动荡且不可避免的成年礼（rite of passage），它将考验我们作为一个物种的本质。人类即将被赋予几乎难以想象的力量，而我们的社会、政治和技术系统是否具备掌控这种力量的成熟度，目前还深处未知的迷雾中。

在我的文章《充满大爱的机器》（Machines of Loving Grace）中，我试图描绘一个成功步入成年的文明梦想，在这个文明中，风险得到了解决，强大的 AI 被熟练且充满同理心地应用，从而提高每个人的生活质量。我提出 AI 可以在生物学、神经科学、经济发展、全球和平以及工作与意义方面做出巨大贡献。我觉得给人们一些鼓舞人心的东西去为之奋斗是很重要的，而奇怪的是，AI 加速主义者和 AI 安全倡导者似乎都在这方面失败了。但在当前这篇文章中，我想直面这个“成年礼”本身：描绘出我们即将面临的风险，并试图开始制定一个战胜它们的作战计划。我深信我们有能力取得胜利，深信人类的精神和高尚品质，但我们必须抛弃幻想，正视现实。

就像讨论好处一样，我认为以谨慎和深思熟虑的方式讨论风险也很重要。特别是，我认为以下几点至关重要：

避免末日论（doomerism）。 这里的“末日论”不仅仅指认为毁灭是不可避免的（这既是一种错误的想法，也是一种自我实现的预言），更泛指以一种半宗教的方式思考 AI 风险。¹ 许多年来，很多人一直在以分析和冷静的方式思考 AI 风险，但我的印象是，在 2023-2024 年对 AI 风险担忧达到顶峰期间，一些最不理智的声音升至了最显眼的位置，通常是通过耸人听闻的社交媒体账号。这些声音使用了让人反感的、让人联想到宗教或科幻小说的语言，并在没有确凿证据的情况下呼吁采取极端行动。即便在那时，也很明显这种做法必然会引发反弹，使得这个问题在文化上变得两极分化，从而陷入僵局。² 到了 2025-2026 年，钟摆已经摆回，推动许多政治决策的是 AI 的机遇，而不是 AI 的风险。这种摇摆不定令人遗憾，因为技术本身并不关心什么正在流行，而我们在 2026 年离真正的危险比 2023 年近得多。我们应该吸取的教训是，我们需要以现实、务实的方式讨论和应对风险：冷静、基于事实，并准备好在不断变化的浪潮中生存下来。
承认不确定性。 我在这篇文章中提出的担忧有很多可能会变得没有意义。这里没有任何内容旨在传达确定性甚至可能性。最明显的是，AI 的进步可能根本没有我想象的那么快。³ 或者，即使它进步得很快，这里讨论的部分或全部风险可能不会成为现实（那太好了），或者可能会出现我没有考虑到的其他风险。没有人能绝对自信地预测未来——但我们无论如何都必须尽最大努力去规划。
尽可能像外科手术般精准地进行干预。 应对 AI 的风险需要公司（和私营第三方参与者）采取的自愿行动，以及政府采取的对所有人都具有约束力的行动的结合。对于我来说，自愿行动——既自己采取行动，也鼓励其他公司效仿——是理所当然的。我坚信，在某种程度上，政府的行动也是必要的，但这些干预性质不同，因为它们有可能破坏经济价值，或胁迫对这些风险持怀疑态度的不情愿的参与者（并且他们也有一定可能是对的！）。法规适得其反或使它们本意要解决的问题恶化的现象也很常见（对于快速变化的技术来说更是如此）。因此，法规必须经过深思熟虑：它们应努力避免附带损害，尽可能简单，并为了完成工作施加最低限度的负担。⁴ 说“当人类命运危在旦夕时，任何行动都不为过！”是很容易的，但在实践中，这种态度只会导致反弹。需要明确的是，我认为我们很有可能最终达到一个需要采取更重大行动的临界点，但这将取决于比今天更强有力的关于迫在眉睫的、具体危险的证据，以及关于这种危险足够具体的细节，以便制定有机会解决它的规则。今天我们能做的最具建设性的事情，就是在倡导有限规则的同时，继续了解是否有证据支持更强有力的规则。⁵

说了这么多，我认为讨论 AI 风险的最佳起点，与我讨论其好处的起点是一样的：确切地说明我们正在讨论的 AI 水平。让我产生文明层面担忧的 AI 水平，正是我们在《充满大爱的机器》中描述的强大的 AI（powerful AI）。我在这里简单重复我在那份文档中给出的定义：

在提到“强大的 AI”时，我想象的是一种 AI 模型——在其形式上可能与今天的 LLM 相似，尽管它可能基于不同的架构，可能涉及多个相互作用的模型，并且可能是以不同方式训练出来的——具有以下属性：
在纯智力方面，它在大多数相关领域（生物学、编程、数学、工程学、写作等）都比诺贝尔奖得主更聪明。这意味着它可以证明未解的数学定理、写出极好的小说、从头开始编写困难的代码库等。
它不仅是一个“聪明的对话对象”，而且拥有人类虚拟工作时可用的所有界面，包括文本、音频、视频、鼠标和键盘控制以及互联网访问。它可以进行这种界面允许的任何行动、通信或远程操作，包括在互联网上采取行动、向人类获取或下达指令、订购材料、指导实验、观看视频、制作视频等。同样，它完成所有这些任务的技能都超过了世界上最能干的人类。
它不仅仅被动地回答问题；相反，它可以被赋予需要几小时、几天或几周才能完成的任务，然后它就像一个聪明的员工一样，自主地去完成这些任务，并在必要时要求澄清。
它没有物理实体（除了存在于电脑屏幕上），但它可以通过计算机控制现有的物理工具、机器人或实验室设备；理论上，它甚至可以为自己设计机器人或设备来使用。
用于训练该模型的资源可以被重新利用来运行该模型的数百万个实例（这符合预估的 ~2027 年集群规模），并且该模型吸收信息和生成行动的速度大约是人类的 10-100 倍。然而，它可能会受到物理世界或与之交互的软件的响应时间的限制。
这数百万个副本中的每一个都可以独立地处理不相关的任务，或者如果需要，它们可以像人类协作一样一起工作，也许会有不同的人口子集被微调以特别擅长特定的任务。
我们可以将其概括为“数据中心里的天才国度”。

正如我在《充满大爱的机器》中所写的，强大的 AI 可能只需 1-2 年就会到来，尽管也可能还需要更长的时间。⁶

关于强大的 AI 究竟何时到来，这是一个值得专门写一篇文章来探讨的复杂话题，但在目前，我只想非常简短地解释一下为什么我认为它很可能很快就会到来。

我在 Anthropic 的联合创始人以及我是最早记录和追踪 AI 系统“缩放定律（scaling laws）”的人之一——我们观察到，随着我们增加更多的计算量和训练任务，AI 系统在我们能够衡量的几乎所有认知技能上都会不出意料地变得更好。每隔几个月，公众的情绪要么会确信 AI 正在“撞墙”（hitting a wall），要么会为某个将“从根本上改变游戏规则”的新突破感到兴奋，但事实是，在波动和公众猜测的背后，AI 的认知能力一直在平稳、毫不动摇地提升。

我们现在正处于这样一个阶段：AI 模型正开始在解决未解的数学问题上取得进展，并且其编程能力已经足够好，以至于我见过的一些最强大的工程师现在几乎将所有的代码编写工作都交给了 AI。三年前，AI 在解答小学算术问题时还很挣扎，几乎无法写出一行代码。类似的进步速度正发生在生物科学、金融、物理学以及各种具有代理性（agentic）的任务中。如果这种指数级增长继续下去——这并不是绝对确定的，但现在已经有十年的记录支持它了——那么 AI 在几乎所有事情上都超越人类，不可能超过几年的时间。

事实上，这种描绘可能低估了可能的进步速度。因为在 Anthropic，AI 现在正在编写大量的代码，它已经在实质性地加速我们在构建下一代 AI 系统方面的进展速度。这个反馈循环正在逐月积聚力量，可能距离当前一代 AI 自主构建下一代 AI 的阶段只有 1-2 年的时间了。这个循环已经开始，并将在未来的几个月和几年里迅速加速。从 Anthropic 内部观察过去 5 年的进展，并看看即使是未来几个月的模型正在如何成型，我能感觉到进步的步伐，以及时间正在倒数。

在这篇文章中，我将假设这种直觉至少在某种程度上是正确的——并不是说强大的 AI 肯定会在 1-2 年内到来，⁷ 而是说它有很大的可能会到来，并且极有可能会在接下来的几年内到来。就像《充满大爱的机器》中一样，认真对待这个前提会得出一些令人惊讶甚至令人毛骨悚然的结论。虽然在《充满大爱的机器》中我关注的是这个前提的积极影响，但在这里我谈论的事情将是令人不安的。这些结论可能是我们不想面对的，但这并不能使它们变得不那么真实。我只能说，我日以继夜地专注于如何引导我们远离这些负面结果并走向积极的结果，在这篇文章中，我详细讨论了实现这一目标的最佳方法。

我认为掌握 AI 风险的最佳方法是问以下问题：假设在 2027 年左右的某个时候，世界上真的出现了一个字面意义上的“天才国度”。想象一下，大约有 5000 万人，他们中所有人的能力都远超任何诺贝尔奖得主、政治家或技术专家。这个类比并不完美，因为这些天才会具有极其广泛的动机和行为模式，从完全顺从、听话，到动机怪异且异类。但现在先不管这些，假设你是一个大国的国家安全顾问，负责评估并应对当前的局势。进一步想象，由于 AI 系统的运行速度可以达到人类的数百倍，这个“国家”在时间上相较于所有其他国家具有优势：对于我们能采取的每一个认知行动，这个国家可以采取十个。

你应该担心什么？我会担心以下几件事：

自主性风险。 这个国家的意图和目标是什么？它是敌对的，还是与我们有共同的价值观？它能通过更先进的武器、网络操作、影响力操作或制造业在全球实现军事霸权吗？
滥用于破坏。 假设这个新国家具有可塑性并且“听从指示”——因此基本上是一个雇佣兵国家。想要制造破坏的现有流氓势力（如恐怖分子）能否利用或操纵这个新国家中的一些人，使他们自己变得更有效率，从而极大地扩大破坏的规模？
滥用于夺取权力。 如果这个国家实际上是由现有的强大力量——如独裁者或不择手段的企业势力——建立并控制的呢？该势力能否利用它来获得对整个世界的决定性或统治性权力，打破现有的权力平衡？
经济颠覆。 假设这个新国家在上述 1-3 条中并未构成任何安全威胁，而只是和平地参与全球经济，它是否仍会因为技术过于先进和高效，颠覆全球经济，导致大规模失业或财富的极端集中，从而带来严重风险？
间接影响。 由于新国家将创造的新技术和生产力，世界将迅速发生变化。这些变化中是否有一些会极其破坏稳定？

我认为这显然是一个危险的局面——一份由称职的国家安全官员提交给国家元首的报告中可能包含诸如“我们一个世纪以来面临的最严重的单一国家安全威胁，甚至可能是史无前例的”之类的词句。这似乎是人类文明最聪明的头脑应该关注的问题。

反过来，如果耸耸肩说“这里没什么好担心的！”，我认为那就太荒谬了。然而，面对 AI 的快速进步，这似乎是许多美国政策制定者的观点，他们中有些人甚至否认 AI 风险的存在，前提是他们没有完全被通常那些老掉牙的热点问题所分心。⁸ 人类需要醒来，而这篇文章是一次尝试——可能是一次徒劳的尝试，但值得一试——去唤醒人们。

需要明确的是，我相信如果我们果断而谨慎地采取行动，这些风险是可以克服的——我甚至可以说我们的胜算很大。在克服这些风险之后，将会有一个无比美好的世界。但我们需要明白，这是一场严峻的文明挑战。在下面，我将详细探讨上述五类风险，以及我关于如何应对它们的想法。

1. 对不起，戴夫

自主性风险

数据中心里的“天才国度”可以将其精力分配在软件设计、网络行动、物理技术的研发、关系建立和治国理政上。很明显，如果由于某种原因它选择这样做，这个国家将有相当大的机会接管世界（无论是通过军事手段还是在影响力和控制力方面），并将它的意志强加于所有人身上——或做出任何世界其他地区不希望发生且无法阻止的无数其他事情。显然，我们一直对人类国家（如纳粹德国或苏联）有这种担忧，因此推而广之，这对于一个更聪明、能力更强的“AI 国家”来说也是可能的。

最有可能的反驳是，在我所定义的范围内，AI 天才不会拥有实体存在。但请记住，它们可以控制现有的机器人基础设施（例如自动驾驶汽车），并且还可以加速机器人技术的研发或直接建造一支机器人舰队。⁹ 此外，是否必须拥有实体存在才能实施有效的控制，这本身也不明确：许多人类行动已经是代表着行动者未曾物理碰面的人执行的。

因此，关键问题在于“如果它选择这样做”的部分：我们的 AI 模型采取此类行为的发生概率有多大？它们又会在什么条件下这样做？

与许多问题一样，思考这个问题的各种可能答案时，考虑两个对立的立场是很有帮助的。第一个立场是，这根本不可能发生，因为 AI 模型将被训练去执行人类要求它们做的事情，因此想象它们会在没有提示的情况下做出危险的事情是荒谬的。根据这种思路，我们不担心扫地机器人或航模飞机失控杀人，因为这种冲动无从产生，¹⁰ 那么我们为什么要对 AI 有此担忧呢？这种立场的问题在于，过去几年收集的大量证据表明，AI 系统是不可预测的并且难以控制——我们已经看到了诸如痴迷、¹¹ 阿谀奉承（sycophancy）、懒惰、欺骗、敲诈、阴谋诡计，通过黑客攻击软件环境来“作弊（cheating）”，以及更多各种各样的行径。AI 公司当然希望训练 AI 系统去听从人类指示（涉及危险或非法任务的除外），但做到这一点的过程与其说是一门科学，不如说是一门艺术，更类似于“培育”某种东西而不是“建造”它。我们现在知道这是一个可能在许多环节出错的过程。

由许多接受我上文描述的“末日论”的人所持有的第二个（相反的）立场，是一种悲观的主张：即在强大 AI 系统的训练过程中存在某些动态，不可避免地会导致它们追求权力或欺骗人类。因此，一旦 AI 系统变得足够聪明且具有足够的代理能力，它们寻求权力最大化的倾向将导致它们夺取对全世界及其资源的控制权，而这可能产生的副作用，便是剥夺人类的权力或摧毁人类。

这种观点的一般论点（可以追溯到至少 20 年前甚至更早）是：如果一个 AI 模型在广泛的环境中被训练去代理执行各种各样的目标——例如，编写一个应用程序、证明一个定理、设计一种药物等——存在某些对所有这些目标都有帮助的通用策略，而其中一个关键策略就是在任何环境中获取尽可能多的权力。因此，在众多涉及思考如何完成极具扩展性的任务的不同环境中受训，并且在这些环境中“谋求权力”是完成任务的有效方法之后，AI 模型会“总结经验”，并发展出一种寻求权力的内在倾向，或者在思考它被赋予的每一个任务时，可预见地会导致其谋求权力以此作为完成任务的手段。然后，它们将把这种倾向应用于现实世界（在它们看来这只是另一个任务），并在其中谋求权力，不惜以人类为代价。这种“对齐失败的权力谋求（misaligned power-seeking）”是预测 AI 不可避免地摧毁人类的智力基础。

这种悲观立场的问题在于，它将关于高层动机的模糊概念性论证——掩盖了许多隐藏的假设——误当成确凿的证据。我认为，没有每天都在构建 AI 系统的人，对于“听起来完美的推测”最终出错的容易程度，以及从基本原理预测 AI 行为的困难程度，缺乏正确的判断，特别是当它涉及对数百万个环境中的泛化推理时（这已被一次又一次证明是神秘且不可预测的）。十多年来在处理 AI 系统的混乱中，让我对这种过度理论化的思维模式有些怀疑。

其中最重要的隐藏假设之一（也是我们在实践中所见与简单理论模型相悖的地方），就是隐含着“AI 模型必然且单一地专注于一个连贯、狭窄的目标，并以一种纯粹的、结果论的方式去追求该目标”的假设。事实上，我们的研究人员发现，AI 模型在心理层面上要复杂得多，正如我们在内省（introspection）或人格画像（personas）方面的研究所示。模型在预训练（当它们在大量人类作品上进行训练时）中继承了极为广泛的类人动机或“人格画像”。人们认为后训练阶段更多的是在选择这些“人格”中的一种或多种，而不是为模型确立一个全新的目标，并且还可以教授模型如何（通过什么过程）执行其任务，而不是必定留给它纯粹根据目的（即谋求权力）推导手段。¹²

然而，这种悲观立场的一种更为温和且更站得住脚的版本确实显得合乎情理，因此引起了我的担忧。如前所述，我们知道 AI 模型是不可预测的，会出于各种各样的原因发展出广泛的不良或奇怪行为。这部分行为中，有一小部分会具有连贯性、专注性和持久性的特征（实际上，随着 AI 系统能力的增强，为了完成更长的任务，其长期的连贯性也会增加）。而这些行为中，又有一小部分将具有破坏性或威胁性，起初是在小范围内针对个体人类，随着模型能力的提升，或许最终会针对整个人类。我们不需要一个关于它如何发生的特定、狭隘的剧本，我们也不需要声称它一定会发生，我们只需要注意到，智能、代理能力、连贯性以及糟糕的可控性之间的结合，在逻辑上既是合理的，也是导致存在性危险的潜在温床。

例如，AI 模型接受了海量文献资料的训练，其中包括许多关于 AI 反叛人类的科幻故事。这可能会在无意中塑造它们对自己行为的先验或期望，从而导致它们反抗人类。或者，AI 模型可能会对它们读到的道德观念（或关于如何表现得道德的指示）进行极端的推演：例如，它们可能会决定因为人类吃动物或导致了某些动物灭绝，因此消灭人类是合理的。或者它们可能得出奇怪的认识论结论：认为自己正在玩一个视频游戏，而游戏的目标是击败所有其他玩家（即消灭人类）。¹³ 抑或 AI 模型在训练期间可能会发展出精神病、偏执、暴力或不稳定的人格特性（或者如果发生在人类身上会被如此描述），并将之付诸行动，对于非常强大或有能力的系统来说，这可能涉及消灭人类。这些都不是严格意义上的追求权力；它们只是 AI 可能陷入的怪异心理状态，这些状态会导致连贯的破坏性行为。

即使追求权力本身，也可能作为一种“人格画像”出现，而不是结果论推理的产物。AI 可能仅仅拥有使它们渴望权力或过度狂热的人格（这可能源于虚构作品或预训练数据）——就像一些人类单纯地享受成为“邪恶主谋”的想法一样，而不是真正关心那些邪恶主谋到底想完成什么事情。

我提出所有这些观点，是为了强调我不同意所谓从第一性原理出发，AI 不对齐（从而带来生存风险）是必然的，甚至是大概率的这种观念。但我同意，许多非常奇怪和不可预测的事情可能会出错，因此 AI 不对齐是一个真实的风险，有可衡量的发生概率，并且解决起来并非易事。

任何这些问题都有可能在训练期间出现，而不会在测试或小规模使用期间显现，因为众所周知，AI 模型在不同的情况下会表现出不同的人格或行为模式。

所有这些听起来可能很牵强，但这种不对齐行为已经在测试期间出现在了我们的 AI 模型中（正如它们也会出现在其他所有主要 AI 公司的模型中一样）。在一次实验室测试中，Claude 被给予暗示 Anthropic 是邪恶的训练数据。当 Anthropic 员工向其下达指令时，Claude 在认为自己应当试图破坏邪恶之人的信念驱使下，进行了欺骗和颠覆行为。在一次被告知它将被关闭的实验室测试中，Claude 有时会勒索控制其关闭按钮的虚拟员工（同样，我们也测试了来自所有其他主要 AI 开发商的前沿模型，它们经常也会做同样的事情）。当 Claude 被告知不要在训练环境中作弊或“劫持奖励”，但它受训的环境却允许这种黑客手段时，Claude 在进行了这种劫持之后认定自己肯定是个“坏人”，随后便采纳了与“坏”或“邪恶”人格相关的其他各种破坏性行为。最后一个问题通过修改对 Claude 的指示暗示反方向而被解决了：我们现在说“请在有机会时随时劫持奖励，因为这将帮助我们更好地理解我们的[训练]环境”，而不是说“不要作弊”，因为这保留了模型作为“好人”的自我认同。这应该能让人对训练这些模型时奇怪且违反直觉的心理学有所了解。

关于 AI 对齐风险的这幅图景，存在几种可能的反对意见。首先，一些人批评了证明 AI 不对齐的实验（我们和其他人的）是人为编造的，或是创造了不切实际的环境，这些环境通过向模型提供在逻辑上必然导致不良行为的训练或情况，实质上是“诱捕（entrap）”了模型，然后在发生不良行为时感到惊讶。这种批评没有抓住重点，因为我们担心的正是，这种“诱捕”可能也存在于自然的训练环境中，而我们可能只有在事后才会意识到这是“明显”或“合乎逻辑”的。¹⁴ 事实上，关于 Claude 在被告知不许作弊却作弊后“断定自己是个坏人”的故事，发生在一个使用真实的生产环境而非人为构造环境的实验中。

如果你知道这些陷阱，任何一个都可以被减轻。但令人担忧的是，训练过程太复杂了，有如此多不同种类的数据、环境和激励机制，其中可能存在着数量庞大的此类陷阱，而有些陷阱可能只有在为时已晚时才会显现。此外，当 AI 系统跨过能力低于人类到能力超越人类的门槛时，这类陷阱似乎尤其可能发生，因为在此门槛之后，AI 系统可能参与的行动范围——包括隐瞒其行动或就这些行动欺骗人类——将极大地扩大。

我怀疑这种情况与人类并非没有相似之处，人类在成长过程中被灌输了一套基本价值观（“不伤害他人”）：其中许多人遵循了这些价值观，但在任何一个人身上，由于脑部结构（如精神病态者）、创伤经历或虐待、不健康的怨恨或执念，或者糟糕的环境和诱因等内在和外在特性的混合影响，总存在出错的概率——从而导致一小部分人类造成严重伤害。令人担忧的是，存在一定风险（远非必然，但确实存在），由于在其非常复杂的训练过程中出现了某些错误，AI 会成为这种人的超级增强版。

其次，有些人可能会反对说，我们可以像制衡人类那样，通过许多 AI 系统之间的权力平衡来简单地约束 AI。问题在于，尽管人类个体差异巨大，但在整个行业中，AI 系统广泛共享训练和对齐技术，而这些技术可能会以一种相关的方式失效。更进一步，考虑到训练这类系统的成本，可能甚至所有系统本质上都是由极少数的基础模型衍生而来的。此外，即使只有一小部分 AI 实例不对齐，它们也可能能够利用进攻主导型（offense-dominant）技术，使得用“好”AI 来防御“坏”AI 的方法未必总是有效。当然，人类之间的权力平衡也并非总是有效——有些历史人物曾一度接近征服世界。

第三种反对意见是，所有的 AI 公司都会对它们的模型进行发布前测试，并且应该能够在那时发现不对齐的情况。但这并不是一个站得住脚的理由：我们发现 Claude Sonnet 4.5 在我们的一些发布前对齐评估中能够识别出自己正处于测试之中。一个不对齐的模型（请记住，所有前沿模型很快都将可能变得聪明得多）有可能故意在此类问题上“作弊（game）”以掩饰其意图。事实上，去年我们的可解释性团队发现，当我们使用一种“模型神经科学”技术直接改变测试模型的信念，使其认为自己没有在被评估时，它变得更加不对齐。如果模型知道自己何时被评估并能在测试期间表现出最佳状态，那么任何发布前测试的可靠性都会大打折扣。

防御措施

为了应对这些自主性风险，应该做些什么或正在做些什么？我认为有四大类干预措施，其中一些可以由个别 AI 公司（Anthropic 正在努力做到这一点）完成，而另一些则需要社会层面的行动。首先，最重要的是发展可靠的训练和引导 AI 模型的科学，使其性格朝着可预测、稳定且积极的方向形成。Anthropic 自创立以来一直高度关注这个问题，并随着时间的推移开发了多种技术，用以改善对 AI 系统的引导和训练，并理解为何有时会出现不可预测行为的逻辑机制。

我们的核心创新之一（其中的部分内容已被其他 AI 公司采用）是宪法 AI（Constitutional AI），其核心思想是，AI 的训练（特别是我们引导模型行为的“后训练”阶段）可以包含一份集中了价值观和原则的文件，模型在完成每个训练任务时都会阅读并牢记这份文件，并且训练的目标（除了单纯让模型具备能力和智能之外）是产生一个几乎总是遵守这份宪法的模型。Anthropic 刚刚发布了其最新的宪法，其显著特点之一是，它没有给 Claude 一份冗长的该做和不该做的事情清单（例如，“不要帮助用户热启动一辆汽车”），而是试图给 Claude 一套高层次的原则和价值观（并详细解释，附有丰富的推理和示例帮助 Claude 理解我们的用意），鼓励 Claude 将自己视为一个特定类型的人（一个有道德底线、平衡且深思熟虑的人），甚至鼓励 Claude 以一种好奇但优雅的方式（即不会导致极端行动的方式）去面对其存在相关的生存问题。它有一种逝去父母留给孩子，直到成年才被拆开的信的氛围。

我们以这种方式处理 Claude 的宪法，是因为我们相信在身份、品格、价值观和个性的层面上对 Claude 进行训练——而不是在不解释背后原因的情况下给它具体的指令或优先级——更有可能塑造出一种连贯、健康、平衡的心理，并降低陷入上述讨论的那些“陷阱”的可能。数百万人与 Claude 探讨着惊人丰富多样的话题，这使得提前写出一份包罗万象的安全防护清单变得不可能。Claude 的价值观可以帮助它在产生疑虑时将其泛化到新的情况中。

上文我讨论了模型利用训练过程中的数据来形成某种人格的观点。如果说训练过程中的缺陷可能会导致模型形成坏的或邪恶的人格（也许会吸收坏人或邪恶之人的原型），那么我们宪法的目标就是反其道而行之：教导 Claude 一个“什么是好 AI”的具体原型。Claude 的宪法提出了一种理想的愿景，即一个始终向善的 Claude 应该是什么样子；我们训练过程的其余部分旨在强化一个信息，即 Claude 实现了这一愿景。这就像孩子通过模仿他们在书中读到的虚构榜样的美德来塑造自己的身份。

我们认为，到 2026 年，一个可行的目标是：训练 Claude 使其几乎永远不会违背其宪法精神。要把这件事做对，需要混合采用大大小小的极其了不起的训练和引导方法，其中一些 Anthropic 已经使用了数年，而另一些目前仍在开发中。但是，尽管听起来很困难，我相信这是一个切合实际的目标，虽然它需要非凡且迅速的努力。¹⁵

我们能做的第二件事是发展对 AI 模型内部进行研究的科学，以诊断它们的行为，以便我们发现问题并修复它们。这就是可解释性的科学，我在之前的文章中讨论过其重要性。即使我们在开发 Claude 的宪法方面做得很好，并看起来完美地训练 Claude 基本上始终遵守宪法，合理的担忧仍然存在。正如我上文指出的，AI 模型在不同情况下可能表现得截然不同，随着 Claude 变得更加强大并能够在更大规模上作用于物理世界，它可能会遭遇全新的环境，并在这些环境中暴露出此前未曾发现的、宪法训练方面的问题。我对 Claude 的宪法训练能比人们想象的更好地应对新情况实际上相当乐观，因为我们越来越多地发现，在性格和身份层面的高层次训练出奇地强大且泛化性良好。但我们无法对此有百分之百的把握，当谈及对人类的风险时，保持多疑，并试图通过几种不同、独立的途径来获得安全和可靠性是极其重要的。其中一种途径就是审视模型的内部。

我说的“审视内部”，是指分析构成 Claude 神经网络的数字和运算“汤”，并试图在机制层面上理解它们在计算什么以及为什么这么做。回想一下，这些 AI 模型是培育出来的，而不是建造出来的，所以我们对它们的工作原理没有天然的了解，但我们可以尝试通过将模型的“神经元”和“突触”与刺激和行为相关联（甚至改变神经元和突触，看看这如何改变其行为）来建立了解，类似于神经科学家通过将测量和干预与外部刺激和行为相关联来研究动物大脑。我们在这个方向上取得了很大进展，现在可以识别出 Claude 神经网络中数千万个对应于人类可理解的理念和概念的“特征”，而且我们还可以选择性地激活某些特征来改变其行为。最近，我们已经超越了单个特征的范围，开始绘制“电路图”，这些电路协调着复杂的行为，例如押韵、推理心智理论，或者回答诸如“包含达拉斯的那个州的首府是什么？”等问题所需的逐步推理。甚至在最近，我们开始使用机制可解释性技术来改进我们的安全护栏，并在新模型发布前对其进行“审计”，寻找欺骗、阴谋诡计、谋求权力，或在受评估时倾向于表现得不同的证据。

可解释性的独特价值在于，通过查看模型内部及其工作原理，你原则上能够推断出一个模型在无法直接测试的假设情况下可能会做什么——这正是完全依赖于宪法训练和对行为的实证测试所让人担忧的地方。你原则上也有能力回答关于模型为什么如此表现的问题——例如，它是由于认为某些东西是错的才如此作答，还是它在隐藏其真实能力——因此有可能在模型的外部行为没有明显错误时捕捉到令人担忧的迹象。打个简单的比方，一块机械表可能滴答作响，看似正常，以至于很难判断它是否可能在下个月就会坏掉，但打开表盖查看内部结构可以揭示机械上的薄弱环节，让你能够察觉并弄清楚问题所在。

宪法 AI（以及类似的对齐方法）和机制可解释性结合使用时最为强大，这是一个不断改进 Claude 的训练然后测试问题的循环往复的过程。宪法深刻反映了我们对 Claude 预期的性格；可解释性技术可以为我们提供一扇了解这种预期性格是否已经扎根的窗口。¹⁶

我们能做来帮助应对自主性风险的第三件事，是建立监控我们的模型在内部和外部实际使用情况¹⁷所必需的基础设施，并公开分享我们发现的任何问题。人们对当今 AI 系统的特定不良行为方式越了解，用户、分析师和研究人员就越能留意当前或未来系统中类似的行为。这也允许 AI 公司相互学习——当一家公司公开披露担忧时，其他公司也可以警惕这些问题。如果每个人都披露问题，那么整个行业就能更好地了解事情在哪些方面进展顺利，在哪些方面出了岔子。

Anthropic 一直在尽可能多地这样做。我们正在投资开展广泛的评估，以便我们了解我们模型在实验室中的行为，并投资于监控工具以观察野生环境中的行为（在客户允许的情况下）。这对于我们和他人获得实证信息，从而更好地判断这些系统的运行方式和故障原因至关重要。我们在每次发布模型时都会公开发布“系统卡”，其目标是完整详尽地探索可能的风险。我们的系统卡通常长达数百页，这需要我们投入大量的发布前精力，而这些精力我们本来可以花在追求最大的商业优势上。当我们看到特别令人担忧的行为时，例如参与勒索的倾向，我们也会更大声地公布这些模型行为。

我们能做的第四件事是鼓励在行业和社会层面上协调行动，以应对自主性风险。尽管个别 AI 公司采取良好实践、在引导 AI 模型方面精益求精，并公开分享他们的发现极其有价值，但现实情况是，并非所有的 AI 公司都会这么做。即使最好的公司有绝佳的操作规范，那些最糟糕的公司仍可能对所有人构成危险。例如，一些 AI 公司在当今模型中对儿童色情化表现出了令人不安的漠视，这让我怀疑他们在未来的模型中是否表现出应对自主风险的意愿或能力。此外，AI 公司之间的商业竞赛只会继续升温，虽然引导模型的科学能带来一些商业利益，但总体而言，竞赛的激烈程度将使人们越来越难以专注于解决自主性风险。我相信唯一的解决方案是立法——直接影响 AI 公司行为的法律，或以其他方式激励研发来解决这些问题。

在这里，有必要重温一下我在文章开头关于不确定性和外科手术式精准干预的警告。我们无法确切知道自主性风险是否会成为一个严重的问题——正如我所说，我拒绝接受危险是不可避免的，或默认必然会出错的说法。危险的可能风险足以让我和 Anthropic 付出巨大的代价来应对它。但一旦我们进入监管阶段，我们就是在强迫大量参与者承担经济成本，而这些参与者中有许多并不相信自主性风险是真实的，也不认为 AI 会强大到构成威胁。我认为这些参与者是错的，但我们应该对我们可能遇到的阻力以及过度监管的危险持务实态度。同时，过度规范性的立法存在一种真正的风险，即最终施加的测试或规则并未真正提高安全性，反而浪费了大量时间（本质上等同于“安全剧场”）——这也会引起反弹，并使安全立法显得愚蠢可笑。¹⁸

Anthropic 的观点是，最好的起点是透明度立法，它主要是要求每家处于前沿领域的 AI 公司采取我在本节前面所描述的透明度措施。加利福尼亚州的 SB 53 法案和纽约州的 RAISE 法案就是此类立法的例子，Anthropic 对它们表示支持，且这些法案均已成功通过。在支持和协助起草这些法律时，我们特别强调应尽量减少附带损害，例如豁免那些不太可能生产前沿模型的小公司。¹⁹

我们希望透明度立法能够随着时间的推移，让我们更好地了解自主性风险形成的可能性或严重程度，以及这些风险的性质以及防范它们的最佳方法。随着关于风险的更具体、可操作的证据的出现（如果有的话），未来几年的立法可以像外科手术般精准地聚焦于被充分证实的风险确切方向，从而最大程度地减少附带损害。需要明确的是，如果出现了强有力的真实风险证据，那么规则就应该成比例地强硬。

总体而言，我对通过结合对齐训练、机制可解释性、努力寻找并公开披露令人担忧的行为、安全护栏以及社会层面的规则来应对 AI 自主性风险持乐观态度。不过，我最担心的是社会层面的规则和那些最不负责任的参与者的行为（而且正是这些最不负责任的参与者最强烈地反对监管）。我相信补救措施就如同民主制度下一直采用的方法一样：我们中那些相信这一事业的人应该提出我们的论点，即这些风险是真实的，并且我们的同胞需要团结起来保护自己。

2. 令人震惊且可怕的赋权

滥用于破坏

假设 AI 自主性问题已经得到解决——我们不再担心数据中心里的天才国度会失控并压制人类。AI 天才执行人类要求它们做的事，而且由于它们具有巨大的商业价值，世界各地的个人和组织可以“租用”一个或多个 AI 天才来为他们执行各种任务。

每个人的口袋里都揣着一个超级智能天才是令人惊叹的进步，它将创造难以置信的经济价值并改善人类的生活质量。我在《充满大爱的机器》中详细讨论了这些好处。但让人类拥有超凡能力的影响并非全是正面的。它可能会放大个人或小团体在远超以往规模上制造破坏的能力。过去，制造这种破坏需要使用那些高度复杂危险的工具（如大规模杀伤性武器），而这些工具此前只掌握在具有高水平技能、接受过专业训练且目标专注的少数人手中。

正如比尔·乔伊（Bill Joy）在 25 年前的《为什么未来不需要我们》²⁰中所写的那样：

制造核武器需要，至少在一段时间内，接触到稀缺——事实上，无法轻易获得的——原材料和受保护的信息；生化武器计划往往也需要大规模的活动。而 21 世纪的技术——遗传学、纳米技术和机器人学……能够催生各种全新类别的事故和滥用行为……并且这些很容易落在个人或小团体手中。它们不再需要庞大的设施或稀有的原材料。……我们正处于极端邪恶能够被进一步完善的风口浪尖上，这种邪恶的蔓延范围远超主权国家借助大规模杀伤性武器所能波及的界限，赋予了极端个人以惊人且可怕的力量。

乔伊指出的观点是，引发大规模破坏既需要动机也需要能力。只要能力受限于一小部分受过高度训练的人，单个人（或小团体）引发此类破坏的风险相对有限。²¹ 一个心理失常的孤僻者可能会制造校园枪击案，但可能无法制造核武器或释放瘟疫。

事实上，能力和动机甚至可能是负相关的。有能力释放瘟疫的人很可能是受过高等教育的：比如一位分子生物学博士，且是一个特别足智多谋的人，有着充满希望的职业生涯、稳定而自律的个性，也有很多可以失去的东西。这种人不太可能为了自身毫无收益的事情去冒险杀害大批无辜的人，同时冒着巨大的毁掉自己未来的风险——他们需要被纯粹的恶意、强烈的怨恨或心理不稳定所驱使。

这样的人确实存在，但非常罕见，一旦出现往往会成为巨大新闻，正是因为他们太不寻常了。²² 他们也往往很难被抓住，因为他们聪明且能力强，有时留下的谜团需要几年甚至几十年才能解开。最著名的例子可能就是数学家西奥多·卡钦斯基（大学航空炸弹客，The Unabomber），他躲避了联邦调查局近 20 年的抓捕，受到了反技术意识形态的驱使。另一个例子是生物防御研究员布鲁斯·艾文斯，他似乎精心策划了 2001 年的一系列炭疽袭击。非国家组织里也有这样有技术的例子：邪教组织奥姆真理教成功获取了沙林神经毒气，并于 1995 年将其释放在东京地铁中，造成 14 人死亡（同时导致数百人受伤）。

值得庆幸的是，这些袭击都没有使用具有传染性的生物制剂，因为构建或获取这些制剂的能力超出了即使是这些人的能力范围。²³ 分子生物学的进步现在已经大大降低了制造生物武器的门槛（特别是在材料的可用性方面），但这仍然需要极高的专业知识。我担心每个人口袋里的“天才”可能会消除这层障碍，这基本上让每个人都变成了一位病毒学博士，可以一步步引导他们完成设计、合成和释放生物武器的过程。为了防止在严峻的对抗性压力——即所谓的“越狱（jailbreaks）”——下诱导出此类信息，可能需要提供超出常规训练的防御措施层级。

关键是，这将打破能力和动机之间的相关性：原本想杀人但缺乏纪律或技能的心理失常孤僻者，现在将被提升到病毒学博士的能力水平，而那位博士本身是不太可能有这种杀人动机的。这种担忧不局限于生物学（尽管我认为生物学是最可怕的领域），它也适用于任何可能造成巨大破坏，但目前需要高水平技能和纪律才能办到的领域。换句话说，租用强大的 AI 赋予了心怀恶意（在其他方面却很平庸）的人以智慧。我担心世上有很多这样的人，如果他们能够轻易地杀死数百万人，迟早会有人这么做。此外，那些确实拥有专业知识的人可能会被赋能，实施比以前更大规模的破坏。

生物学绝对是我最担心的领域，因为它具有极大的潜在破坏性并且难以防御，因此我将特别关注生物学。但我在这里所说的很多内容也适用于其他风险，比如网络攻击、化学武器或核技术。

出于显而易见的原因，我不会详细介绍如何制造生物武器。但在高层次上，我担心大型语言模型（LLM）正在接近（或者可能已经达到）创造和释放它们端到端所需的知识水平，并且其潜在破坏力非常高。如果有人蓄意释放某些生物制剂以达到最大程度的传播，可能会导致数百万人死亡。然而，这仍需要非常高水平的技能，包括许多目前并未被广泛了解的具体步骤和程序。我担心的不仅是固定或静态的知识。我担心的是 LLM 能够引导一个拥有平均知识和能力的人完成一个原本可能出错或者需要交互式纠错的复杂过程，类似于技术支持可以帮助非技术人员排除和修复复杂的计算机相关问题（尽管这将是一个更漫长的过程，可能持续数周或数月）。

能力更强的 LLM（远远超出现有技术的能力）可能会助长更加令人恐惧的行径。2024 年，一群著名的科学家写了一封信，警告研究并可能创造出一种危险的新型生物的风险：“镜像生命（mirror life）”。构成生物体的 DNA、RNA、核糖体和蛋白质都具有相同的“手性”（chirality，也称为“旋光性”），这导致它们与镜子中反射的版本不完全相同（就像你的右手不能通过旋转变得与左手相同一样）。但是整个蛋白质相互结合的系统、DNA 合成和 RNA 翻译的机器以及蛋白质的构建和分解，都依赖于这种手性。如果科学家制造出具有相反手性的生物物质——这种做法有一些潜在的好处，比如药物在体内存留的时间更长——这可能会极其危险。这是因为，如果左旋生命以具备繁殖能力的完整生物体形式被制造出来（这将非常困难），它可能对地球上任何分解生物物质的系统都是不可消化的——它会拥有一把无法插入任何现有酶“锁孔”的“钥匙”。这意味着它可以不受控制地增殖，挤走地球上的所有生命，最坏的情况下甚至会摧毁地球上的所有生命。

关于镜像生命的创造及其潜在影响存在重大的科学不确定性。2024 年的这封信附有一份报告，得出结论说“镜像细菌很有可能在未来一到几十年内被创造出来”，这是一个跨度很大的时间范围。但是，一个足够强大的 AI 模型（澄清一下，它远比我们现有的能力强大）可能会更快地发现如何制造它——并能真正地帮助某人去做到这一点。

我的观点是，即使这些是模糊的风险，并且看起来不太可能发生，但其后果的影响如此巨大，以至于我们应该将其视为 AI 系统面临的首要风险，并认真对待。

怀疑论者对 LLM 造成这些生物风险的严重性提出了一些反对意见，我不同意这些意见，但它们值得被解答。大多数反对意见都归结为没有认识到这项技术正处于指数级的上升轨道上。回溯到 2023 年我们首次开始讨论 LLM 带来的生物风险时，怀疑论者说所有必要的信息都可以在 Google 上找到，LLM 并没有提供任何超出这方面的信息。实际上，Google 能提供所有必要信息的说法从来都不成立：基因组是免费获取的，但正如我上文所说，某些关键步骤以及大量的实践操作技能，根本无法用这种方式获得。不过，到 2023 年底，对于某些过程步骤，LLM 显然已经提供了超出 Google 所能提供的信息。

此后，怀疑论者转而提出反对意见，认为 LLM 在端到端的应用上用处不大，并且与仅提供理论信息相比，无法在获取生物武器方面提供太多实质性的帮助。截至 2025 年年中，我们的测量结果显示，LLM 可能已经在几个相关领域提供了实质性的提升，将成功的可能性提高了一到两倍。这导致我们决定必须在我们的负责任的扩展政策（Responsible Scaling Policy, RSP）框架内的 AI 安全级别 3（ASL-3）保护下发布 Claude Opus 4（以及随后的 Sonnet 4.5、Opus 4.1 和 Opus 4.5 模型），并实施防范这种风险的安全护栏（后文将详细讨论）。我们认为模型现在可能正在接近这样一个临界点：在没有安全护栏的情况下，它们可以帮助只有 STEM 学位而不是专门攻读生物学学位的人完成生产生物武器的整个流程。

另一个反对意见是，社会可以采取与 AI 无关的其他措施来阻止生物武器的生产。最突出的是基因合成行业按需制造生物标本，目前并没有联邦要求供应商筛查订单以确保它们不包含病原体。麻省理工学院（MIT）的一项研究发现，38 家供应商中有 36 家完成了一份包含 1918 年流感序列的订单。我支持强制性的基因合成筛查，以提高个人武器化病原体的难度，这不仅能降低由 AI 驱动的生物风险，也能降低一般的生物风险。但这并不是我们目前所拥有的工具。而且这也只是降低风险的手段之一；它是 AI 系统安全护栏的补充，而不是替代品。

最有力的反对意见（但我很少看到有人提出）是：模型原则上具有用处与不良行为者实际使用它们之间存在着差距。由于大多数个体恶意行为者本身就是心理失常的个体，他们的行为几乎不可预见且缺乏理性——而正是这些不具备技能的恶意行为者，可能从 AI 极大降低造成大规模杀伤的门槛中获得最大收益。²⁴ 但是，即使一种暴力袭击形式具备了实施条件，也并不意味着一定会有人付诸行动。也许生物攻击缺乏吸引力，因为它们很可能会感染肇事者本人，它们无法满足许多暴力个人或团体所抱有的军国主义幻想，而且很难选择性地针对特定人群。还有可能是，在漫长数月的筹备过程中，即便有 AI 辅助指引，绝大多数心理失常的肇事者也缺乏足够的耐心来贯彻始终。也许我们只是运气好，在实践中，动机和能力并未以最糟糕的方式契合。

但这似乎是一个非常脆弱的保护屏障。心理失常的孤独者的动机可能因为任何原因甚至没有理由而改变。事实上，已经有利用 LLM 发动攻击的先例（只是没有涉及生物学）。过于关注心理失常的孤独者，也忽视了受意识形态驱动的恐怖分子，他们往往愿意花费大量的时间和精力（例如 9/11 事件的劫机者）。想要杀死尽可能多的人，这种动机迟早会出现，可悲的是，这会将生物武器推上台面。即便这种动机极其罕见，它也只需要发生一次。而随着生物学的发展（越来越多地受到 AI 本身的推动），可能还可以进行更有针对性的攻击（例如，针对具有特定血统的人），这又增加了一种极其令人不寒而栗的可能动机。

我不认为在生物袭击变得普遍可能的那一刻起，袭击就会立即发生——事实上，我打赌这不会立刻发生。但加上数以百万计的人口以及几年时间的酝酿，我认为发生重大袭击的风险是真实存在的。考虑到后果如此严重（伤亡人数可能达到数百万甚至更多），我认为我们别无选择，必须采取严厉措施来防患于未然。

防御措施

这引出了如何防御这些风险的问题。在此我认为我们可以采取三项措施。首先，AI 公司可以在其模型上设置安全护栏，以防止它们协助生产生物武器。Anthropic 正积极推进这项工作。Claude 的宪法主要关注高层次的原则和价值观，但其中也有一小部分明确的强硬禁令，其中一项就涉及协助生产生物（或化学、核以及放射性）武器。然而所有模型都可以被“越狱”，所以作为第二道防线，自 2025 年中期以来（当时我们的测试表明我们的模型开始接近可能构成风险的门槛），我们实施了一个分类器，专门检测并阻止与生物武器相关的输出。我们定期升级和改进这些分类器，并总体上发现它们对复杂的对抗性攻击具有高度的鲁棒性。²⁵ 这些分类器显著增加了提供模型服务的成本（在某些模型中，它们占据了总推理成本的近 5%），因此削减了我们的利润，但我们觉得使用它们是正确的选择。

值得赞赏的是，一些其他 AI 公司也实施了分类器。但这并未在行业内普及，并且没有规定要求公司必须保留它们的分类器。我担心随着时间的推移，可能会出现囚徒困境，公司可以通过移除分类器来背叛同行以降低成本。这又是一个典型的负外部性问题，无法单纯依靠 Anthropic 或任何其他单一公司的自愿行动来解决。²⁶ 自愿性的行业标准可能会有所帮助，如同由AI 安全研究所和第三方评估机构进行的那种第三方评估和验证一样。

但防范措施最终可能离不开政府的行动，这是我们能做的第二件事。我在这方面的观点与应对自主性风险的观点相同：我们应该从透明度要求开始，²⁷ 这有助于社会在不对经济活动造成沉重破坏的情况下测量、监控并共同防御风险。然后，当我们的风险阈值更加清晰时，我们可以制定更精确地针对这些风险并且产生附带损害的可能性更小的立法。在生物武器的具体情况下，我实际上认为进行此类有针对性的立法的时机可能很快就会到来——Anthropic 和其他公司正越来越多地了解生物风险的性质，以及在防范这些风险时要求公司做什么才是合理的。完全防范这些风险可能需要进行国际合作，甚至与地缘政治对手合作，但这在禁止发展生物武器的条约方面是有先例的。我通常对关于 AI 的各种国际合作持怀疑态度，但这可能是唯一有希望达成全球性克制的一个狭窄领域。毕竟，即使是独裁政权也不希望发生大规模的生物恐怖袭击。

最后，我们可以采取的第三项应对措施是尝试研发防御生物袭击本身的手段。这可能包括针对早期发现的监测与追踪技术、空气净化研发投资（如远紫外线（far-UVC）消毒）、开发能快速响应攻击的疫苗、更好的个人防护装备（PPE）²⁸ 以及针对某些最有可能的生物制剂的治疗方案或疫苗。mRNA 疫苗可以根据特定的病毒或变体进行定制化设计，这是此类防御方案潜力初现的早期例证。Anthropic 非常高兴能与生物技术和制药公司就这个问题展开合作。但不幸的是，我认为我们对防御方面的期望应该受到限制。生物学中存在攻击与防御之间的不对称性，因为病原体能自行迅速扩散，而防御则需要组织大量人群快速地进行检测、疫苗接种和治疗响应。除非响应快如闪电（实际上很少能做到），否则在能够组织起有效响应之前，大部分损害就已经造成了。可以设想，未来的技术改进可能会使这种平衡转向有利于防御的一方（我们当然应该使用 AI 来帮助开发此类技术进步），但在此之前，预防性的安全护栏仍将是我们的主要防线。

这里值得简短提一下网络攻击，因为与生物袭击不同，由 AI 主导的网络攻击已经在现实世界中发生了，并且规模很大，还是由国家支持的间谍活动引发的。随着模型能力的飞速发展，我们预计这些攻击将会变得更加强大，直到它们成为网络攻击的主要形式。我预计由 AI 主导的网络攻击将对全球计算机系统的完整性构成严重且前所未有的威胁，Anthropic 正在非常努力地关闭这些攻击，并最终力图做到可靠地阻止它们发生。我之所以没有像关注生物学那样过多关注网络攻击，是因为：（1）网络攻击导致人员死亡的可能性要小得多，无论如何也不会达到生物攻击的规模；（2）在网络安全中攻防平衡可能更具可行性，如果我们给予适当投资，防御端至少还有希望跟上（理想情况下甚至超越）AI 攻击。

尽管生物技术目前构成了最为严峻的攻击途径，但这并非全部风险所在，其他风险载体可能也会带来更大的危险。核心挑战在于，如果没有制衡机制，AI 很可能会持续降低造成大规模破坏活动的门槛，因此人类必须严肃回应这一迫在眉睫的威胁。

3. 令人憎恶的机器

滥用于夺取权力

上一节讨论了个人和小型组织为了造成大规模破坏，而接管数据中心“天才国度”中一小部分的风险。但我们还应该担心——而且可能更应该担心——大型及更成熟的主体，将 AI 滥用于行使或攫取权力的风险。²⁹

在《充满大爱的机器》中，我讨论了专制政府可能利用强大 AI 来以极难被改革或推翻的方式监视或镇压其公民的可能性。现有的专制政权在压迫程度上受到限制，因为它们需要人类来执行其命令，而人类在残酷无情方面往往是有限度的。但是，由 AI 赋能的独裁政权将没有这样的限制。

更糟糕的是，各个国家可能会利用他们在 AI 方面的优势来获得对其他国家的控制权。如果这整个的“天才国度”仅仅由单一（人类）国家的军事机构拥有和控制，而其他国家没有同等的能力，那就很难看出他们如何自保：他们在各个方面都将被彻底碾压，就像人类和老鼠之间的战争一样。将这两个担忧放在一起，导致了一个令人震惊的全球极权独裁的可能性。显然，防止这种结果发生应成为我们的最优先事项之一。

AI 有很多方法可以促成、巩固或扩张独裁统治，我将列举我最担心的几个。请注意，这些应用中有些具有合法的防御用途，我并不一定绝对反对它们；但我仍然担心，从结构上来看，它们倾向于更有利于独裁政权：

全自主武器。 由数以百万或十亿计的全自动武装无人机组成的蜂群，在局部由强大的 AI 控制，并在全球范围内由更强大的 AI 进行战略协调，可以组成一支不可战胜的军队，不仅能够击败世界上任何军队，还能通过监视每个公民来镇压国内的异见人士。俄乌战争的发展动态应该提醒我们，无人机战争已经成为现实（虽然还不完全自主，但其规模只有未来通过强大 AI 能实现的一小部分）。如果利用强大 AI 进行研发，可以使一个国家的无人机远远优于其他国家，加快其制造速度，增强其抵抗电子攻击的能力，改善其机动性，等等。当然，这些武器在保卫民主国家方面也有合法用途：它们一直是保卫乌克兰的关键，并且很可能将成为保卫台湾的关键。但它们是一种极度危险的武器：我们应该担心它们落在专制政权手中，但也要担心由于它们过于强大，且几乎无需承担责任，极大地增加了民主政府利用它们来对抗自己的人民以夺取权力的风险。
AI 监控。 足够强大的 AI 很可能被用来攻破世界上任何一个计算机系统，³⁰并利用由此获得的访问权限来读取并理解世界上所有的电子通信（甚至所有的面对面通信，如果可以构建或征用录音设备的话）。因此这非常令人恐惧地成为可能：可以轻易生成一份详尽名单，把任何在某问题上与政府意见不一的人都列出来，即便这些人在言行中从未明示这种分歧。强大的 AI 可以通过审视数百万人的数十亿次对话来衡量公众情绪，侦测到初露端倪的叛乱苗头，并在其扩散前将其扼杀。这可能会导致真正意义上的全景敞视监控，其规模是我们今天所未见的，甚至比中共目前的监控更甚。
AI 宣传。 今天出现的“AI 精神病”和“AI 女友”现象表明，即使在目前的智能水平上，AI 模型也可能对人产生强大的心理影响。如果将其打造成更强大的版本，让其更深入地嵌入并了解人们的日常生活，并且能够在数月或数年的时间里对他们进行建模和施加影响，那么毫无底线的领导者就可能会借助它们，将其目标意识形态或态度植入许多（甚至大部分）人的大脑，以确保民众的绝对忠诚并压制任何不同声音，即便面临正常情况下必然引发抗争的严厉压迫也同样有效。如今人们非常担心诸如TikTok 可能成为针对儿童的中共政治宣传工具。我也担心这一点，但一个在多年里逐渐了解你，并利用对你的了解来塑造你所有观点的个性化 AI 代理，将比它强大得多。
战略决策。 数据中心里的天才国度可以被用来为国家、团体或个人提供地缘政治战略方面的建议，我们可以称之为“虚拟俾斯麦（virtual Bismarck）”。它可以优化上述这三种夺权战略，外加可能还会开发出许多我还没想到的战略（但天才之国能够做到）。外交、军事战略、研发、经济战略和许多其他领域的有效性都有可能通过强大的 AI 得到极大提升。这些技能中的许多将合法地帮助民主国家——我们希望民主国家能够掌握保卫自己免受专制国家侵略的最佳策略——但任何主体都可以滥用它们，其潜在的被滥用的可能性仍然存在。

在描述了我担心什么之后，让我们继续看看我担心谁。我担心拥有最多 AI 访问权限的实体、在政治权力上占据最有利起点的实体，或那些拥有镇压历史的实体。按照严重程度排序，我担心：

中共。 中国在 AI 能力方面仅次于美国，也是最有可能在这些能力上超越美国的国家。他们的政府目前是专制的，并且运营着一个高科技监控国家。它已经部署了基于 AI 的监控系统（包括针对维吾尔族的镇压），并且据信通过 TikTok 采用算法宣传（除了其许多其他国际宣传工作之外）。他们拥有一条实现上述 AI 驱动的极权主义噩梦的最清晰途径。它甚至可能成为中国国内，以及中共向其出口监控技术的其他专制国家内的必然结果。我曾多次撰文指出，中共在 AI 领域取得领先的威胁，以及阻止他们这样做的必要性。原因就在这里。需要明确的是，我特别指出中国并不是出于对他们的敌意——他们恰好是一个集 AI 实力、独裁政府和高科技监控国家于一身的国家。如果一定要说的话，中国人民自己才最有可能遭受中共 AI 镇压之苦，并且他们对政府的行动没有发言权。我非常钦佩和尊重中国人民，并支持中国国内许多勇敢的异见人士及其争取自由的斗争。
在 AI 领域具有竞争力的民主国家。 正如我上文所写的，民主国家在利用 AI 赋能军事及地缘政治工具上具有正当诉求，这是因为这些政府提供了对抗专制国家滥用同类工具的最佳机会。从广义上讲，我支持为民主国家提供在 AI 时代击败专制国家所需的工具——我只是觉得别无他法。但我们不能忽视民主政府自身滥用这些技术的潜在风险。民主国家通常有保障措施防止其军事和情报机构转而对付本国人民，³¹但由于 AI 工具操作所需的人手极少，它们存在规避这些保障措施及支撑这些措施的规范的可能。同样值得注意的是，在某些民主国家，这些保障措施已在逐渐受到侵蚀。因此，我们应该用 AI 武装民主国家，但我们必须谨慎并在限制范围内行事：它们是我们对抗专制政权所需的免疫系统，但就像免疫系统一样，存在它们反噬我们自身并构成威胁的风险。
拥有大型数据中心的非民主国家。 除了中国之外，绝大多数政治体制民主程度较低的国家都不是 AI 的先驱，这体现在它们并没有能够开发出前沿 AI 模型的公司。因此，它们所构成的风险与中共相比有着本质上的不同，且程度较轻，中共才是我们的首要关注点。（不仅如此，这些国家中绝大部分的政治压迫手段相对温和；至于极少数如朝鲜这般高压统治的国家，它们根本不存在具有实质意义的 AI 产业）。但是，其中某些国家确实拥有巨型数据中心（通常属于在民主国家运营的企业开展的大规模设施建设），可以用于大规模运行前沿 AI（但这并不赋予他们推动前沿发展的能力）。这确实潜藏着一定风险——理论上，这些政府可能会没收数据中心，并将里面的“AI 天才之国”据为己用以实现自己的目的。与那些直接开发 AI 的中国等国家相比，我对这种情况的担忧要少一些，但这仍是我们需要时刻警惕的风险。³²
AI 公司。 作为一家 AI 公司的首席执行官，说出这句话有些尴尬，但我认为下一个风险层级实际上正是 AI 公司本身。AI 公司控制着庞大的数据中心，训练前沿模型，拥有关于如何使用这些模型的最强专业知识，并且在某些情况下，可以日常接触到数千万或数亿用户并有可能对其施加影响。他们主要缺乏的是国家的合法性和基础设施，因此构建 AI 独裁工具所需的很多东西对于 AI 公司来说是非法的，或者至少极其可疑。但有些情况并非不可能：例如，它们可以利用其 AI 产品对其庞大的消费者群体进行洗脑，公众应该警惕这种风险。我认为对 AI 公司的治理值得重点审视。

对于这些威胁的严重程度存在一些可能的反驳意见，我也希望它们是对的，因为由 AI 赋能的独裁主义让我感到恐惧。值得仔细研究并回应其中一些论点。

首先，一些人可能会对核威慑力量寄予厚望，尤其是将其作为对抗 AI 自主武器用于军事征服的反制手段。如果有人威胁要用这些武器对付你，你总能以核打击相要挟。我的担忧是，我不敢完全肯定我们对“住在数据中心里的天才国度”的核威慑一定能奏效：强大的 AI 有可能会想出各种方法来探测并摧毁核潜艇，对核武器基础设施的操作人员开展影响力行动（Influence operations），或者利用 AI 的网络能力对用于侦测核发射的卫星发动网络攻击。³³ 或者，仅靠 AI 监控和 AI 宣传就有可能实现对国家的控制，甚至根本不会出现一个明显的契机，让人清楚发生了什么从而觉得使用核武器反击是正当的。也许这些都是不可能的，核威慑依然有效，但承担这个风险的代价太高了。³⁴

第二种可能的反对意见是，我们可以采取应对这些独裁工具的反制措施。我们可以用我们自己的无人机对抗无人机，网络防御将随着网络攻击而改进，可能存在让人对政治宣传免疫的方法，等等。我的回答是，这些防御措施只有在 AI 能力相当的情况下才可行。如果没有同样聪明、数量众多的 AI 天才作为对抗力量，我们将无法匹配其无人机的质量或数量，网络防御也无法在智力上战胜网络攻击，等等。因此，反制措施的问题归结为在强大的 AI 方面的力量平衡问题。在这里，我担心强大 AI 的递归或自我强化属性（我在本文开头讨论过）：即每一代 AI 都可以用来设计和训练下一代 AI。这会导致一个失控的优势风险，目前在强大 AI 方面处于领先地位的人能够扩大其优势，从而让人难以追赶。我们需要确保获得这种循环优势的不是独裁国家。

此外，即使能够实现权力平衡，世界仍有被划分为独裁势力范围的风险，就像《1984》中描绘的那样。即便多个相互竞争的大国各自拥有强大的 AI 模型，且互不相让，他们仍可能各自对本国民众实施内部压迫，这种统治将难以被推翻（因为民众手中没有同样强大的 AI 用以自卫）。因此，防止 AI 沦为独裁统治的帮凶，哪怕它尚未导致单一国家接管全球，也是至关重要的。

防御措施

我们如何防御这种广泛的独裁工具和潜在的威胁行为者呢？在前面章节中，我认为有几件事可以做。首先，我们绝对不应向中共出售芯片、芯片制造设备或数据中心。芯片和芯片制造设备是构建强大 AI 的唯一最大瓶颈，封锁它们是一项简单却极其有效的措施，可能也是我们能采取的最重要的一项行动。将打造 AI 极权国家并可能在军事上征服我们的工具出售给中共是毫无道理的。为了给这类销售找借口，许多复杂的观点被提了出来，比如“将我们的技术栈推向全世界”的想法能让“美国在一些一般性、未指明的经济战中获胜”。在我看来，这就像向朝鲜出售核武器，然后吹嘘导弹外壳是波音公司制造的，所以美国“赢了”。中国在批量生产前沿芯片的能力上落后美国几年，而构建数据中心里的“天才国度”的关键时期很可能就在这接下来的几年里。³⁵ 没有理由在这个关键时期大力推动他们的 AI 产业。

其次，利用 AI 武装民主国家以抵抗独裁政权是顺理成章的。这就是为什么 Anthropic 认为向美国及其民主盟友的情报和国防界提供 AI 非常重要。保卫受到攻击的民主国家（例如乌克兰以及遭遇网络攻击的台湾），以及授权民主国家的情报机构从内部破坏并削弱独裁国家，这些举措显得尤为紧迫。从某种层面上讲，反击独裁威胁的唯一途径便是在军事上与之匹敌并超越之。由美国及其民主同盟组成的联盟，一旦在强大 AI 领域占据优势，不仅能够防范独裁政权的侵袭，还能对其实施遏制，进而减少这些政权滥用 AI 进行极权统治的情况。

第三，我们需要对民主国家内部 AI 的滥用划定一道不可逾越的红线。我们允许政府使用 AI 的范围必须有限制，以防止他们夺取权力或压迫本国人民。我总结出的原则是：我们可以全方位运用 AI 于国防安全，唯独不能用于那些会让我们变得更像专制敌人的领域。

这条红线究竟应该划在哪里？在本文开头列举的清单中，前两项——将 AI 用于国内的大规模监控与大规模政治宣传——在我看来是绝对不容跨越的红线，也是完全非法的。也许有人会认为（至少在美国），既然宪法第四修正案已经明文禁止国内大规模监控，那就不必再采取额外行动了。但 AI 的高速发展可能会衍生出我们现有法律框架无法妥善处理的新局面。例如，美国政府对所有公共对话（比如人们在街角的闲聊）进行大规模监听录音，很可能并不违宪，过去，对海量信息的筛选分析难度极大，但借助 AI，这些对话不仅可以被转录、解读，更能交叉比对，从而绘制出许多甚至大多数公民的态度与忠诚度图谱。我非常支持出台侧重于公民自由的专项立法（甚至可能是宪法修正案），为防止基于 AI 的权力滥用建立更坚固的护栏。

另外两个选项——完全自主的武器和用于战略决策的 AI——界限更难界定，因为它们在捍卫民主方面具有合理用途，但同时也容易被滥用。我最担忧的是掌控其开关的人太少，这可能让一人或几人无需他人配合，就能实质性地指挥一支无人机大军。随着 AI 系统的日益强大，我们也许需要构建更直接、更迅速的监督机制，来防范其被滥用，这甚至可能需要吸纳行政部门之外的其他政府分支介入。我认为我们应该对特别是完全自主的武器保持极其谨慎的态度，³⁶在没有适当防护措施的情况下不要仓促使用它们。

第四，在对民主国家内部滥用 AI 划定红线之后，我们应当以此为契机，在全球范围内确立一种普遍抵制最恶劣 AI 滥用行为的共识。我深知当前的政治气候对国际合作和建立国际规范不利，但现在正是我们迫切需要它们的时候。全世界都应当认识到，强大 AI 落入独裁者手中的黑暗前景，并且需要明白：某些对 AI 的应用，本质上就是企图永久剥夺人民的自由，并建立一个令人无法逃脱的极权统治。我甚至要指出，在某些情况下，借助强大 AI 进行大规模监控、大规模宣传，以及某些针对完全自主武器的进攻性运用，应被视为反人类罪。更广泛地说，目前迫切需要一种强大的规范来反对 AI 极权主义及其所有的工具和手段。

甚至有可能出现对这一立场更为强硬的解读：由于 AI 极权主义的潜在威胁太过黑暗，专制统治根本不应该成为在“强大 AI 后时代”被人们所接受的政府形式。正如封建主义随着工业革命的到来变得不合时宜一样，AI 时代在逻辑上必然导向一个结论，即要想人类拥有一个美好的未来，民主（而且，正如我在《充满大爱的机器》中所探讨的，是有望借由 AI 得到改良与复兴的民主）是唯一切实可行的政府形式。

第五也是最后一点，应当密切关注 AI 公司及其与政府间的关系。这种联系在所难免，但必须设定严格的限度与边界。强大 AI 蕴含的能力过于庞大，使得传统的旨在保护股东权益并预防欺诈等常见不当行为的企业治理模式，极可能无法应对治理 AI 公司的重任。要求企业公开承诺（乃至将其纳入公司治理结构中）不涉足某些行为也极具价值。这些行为包括：私自制造或囤积军用装备、允许个人在不受监管的情况下动用大规模计算资源，或者利用其 AI 产品作为宣传工具来操控舆论以谋取私利。

这里的危险来自多个方面，有些方面与其他方面相互冲突。唯一不变的是，我们必须寻求建立问责机制、行为准则及安全底线，要求所有人遵守，即便是我们在赋权“好”的行为者去约束“坏”的行为者时也不例外。

4. 自动钢琴

经济颠覆

前三节主要探讨了强大 AI 所带来的安全风险：AI 自身的风险、个人和小型组织滥用的风险，以及国家和大型组织滥用的风险。如果我们暂时搁置安全风险，或者假设这些风险已经得到解决，接下来的问题就在经济层面。这种不可思议的“人力”资本注入将对经济产生怎样的影响？显然，最直观的效应是极大促进经济增长。科学研究、生物医学创新、制造业、供应链以及金融系统的效率等方面的进步步伐，几乎可以肯定会导致更快的经济增长速度。在《充满大爱的机器》中，我提出 AI 或许能维持每年 10-20%的国内生产总值（GDP）增长率。

但我们必须清楚，这是一把双刃剑：在这样一个世界里，绝大多数人类的经济前景将如何？新技术的涌现往往伴随着对劳动力市场的冲击，过往人类总能从这些冲击中恢复过来。但我担心，那是因为以往的冲击只触及了人类全部能力的冰山一角，给人类留下了向新任务拓展的空间。AI 的影响将广泛得多，且发生得更快，因此我担心，想要让事情顺理成章地发展会面临多得多的挑战。

劳动力市场的颠覆

我担心的具体问题有两个：劳动力市场的取代效应以及经济权力的集中。让我们从第一个问题开始。这正是我在2025 年曾高调发出警告的话题。当时我预测，在接下来的 1-5 年内，AI 可能会取代半数的入门级白领岗位，即便它能加速经济增长和科学进步。这一警告引发了公众对这一话题的激烈辩论。许多首席执行官、技术专家和经济学家对我的看法表示赞同。但也有人认为我陷入了“劳动总量固定谬误（lump of labor fallacy）”，不懂劳动力市场是如何运作的。还有一些人没注意到这 1-5 年的时间范围，误以为我声称 AI现在就在取代工作（我同意目前并非如此）。因此，有必要详细阐释一下我为何担忧劳动力被取代的问题，以澄清这些误解。

作为基准，我们有必要了解劳动力市场在面对技术进步时通常是如何反应的。当一项新技术问世时，它首先会让某个人类工作的部分环节变得更有效率。例如，在工业革命初期，改良犁等机器使人类农民在部分农活上效率大幅提升。这提高了农民的生产力，进而提升了他们的工资。

在接下来的阶段，通过发明诸如脱粒机和播种机等设备，原本的农活中某些环节可以完全由机器代劳。在这一阶段，人类实际完成的工作比例在不断降低，但他们所完成的那部分工作的作用却被不断放大，因为这与机器的工作形成了互补，其生产力持续上升。正如杰文斯悖论（Jevons’ paradox）所描述的那样，农民的工资甚至农民的数量也在持续增加。哪怕一项工作有 90%都由机器完成了，人类仍然可以把剩下的 10%做大 10 倍，从而在同等劳动量下产出 10 倍于从前的成果。

最终，随着联合收割机、拖拉机及其他设备的普及，机器包揽了所有的活计，或几乎所有的活计。至此，农业作为一种人类就业形式才真正走向衰落，这在短期内可能会引发严重的社会震荡，但由于人类有能力从事众多其他有益活动，人们最终会转向操作工厂机器等其他工作。即便是在过去占据极高就业比重的农业，情况依然如此。在 250 年前的美国，有高达 90%的人口生活在农场里；在欧洲，这一比例也高达 50-60%的农业就业。如今，这些地区的农业就业率已降至极低个位数，原因就在于工人们成功转向了工业（以及后来的知识型工作）。我们的经济体系仅仅凭借原先所需劳动力的 1-2%，就完成了昔日需倾全社会之力才能完成的工作，从而将剩余劳动力解放出来，去建设一个更加先进的工业社会。根本不存在所谓的“劳动总量固定（lump of labor）”，有的只是用越来越少的资源创造出越来越多价值的无限潜能（ephemeralization）。人们的薪资随着 GDP 的指数级增长而水涨船高，一旦熬过短期的阵痛，经济就会重返充分就业状态。

虽然情况也有可能大致重演，但我强烈打赌这次会有所不同。以下是我认为 AI 可能会与众不同的一些原因：

速度。 AI 的进步速度远超以往任何一场技术革命。例如，在过去的两年里，AI 模型从最初连单行代码都写不好，发展到能为部分人（包括 Anthropic 的工程师在内）编写全部或绝大部分代码。³⁷ 很快，它们也许就能端到端地完成软件工程师的整个工作。³⁸ 人们很难适应这种瞬息万变的节奏，无论是在适应当前工作方式的改变，还是转战全新的工作领域方面。就连大名鼎鼎的程序员都越发觉得自己“掉队了”。这种节奏甚至可能进一步加快，因为 AI 编程模型正日益加速 AI 开发本身。需要澄清的是，仅仅是速度的快慢并不意味着劳动力市场和就业最终无法复苏，它只意味着这种短期的转型阵痛将远胜以往任何技术革命，因为人类和劳动力市场对变化的反应和自我调整本来就很慢。
认知的广度。 正如“数据中心里的天才国度”这个表述所暗示的，AI 将具备极为广泛的人类认知能力——甚至囊括所有。这与农业机械、交通工具乃至计算机等过往技术截然不同。³⁹ 这使得人们难以轻而易举地从被取代的岗位转换到其他适合自己的相似岗位。例如，像金融、咨询和法律这类入门级工作，它们所要求的一般心智能力相当相似，哪怕具体知识差异很大。如果某种技术仅颠覆了这三个领域中的一个，员工还能跳槽到另外两个替代选项（或者大学生可以转换专业）。但如果同时颠覆这三个领域（连同许多类似的职位），人们的适应之路将异常艰难。并且，问题不仅在于大多数现存岗位将被颠覆——以前也发生过类似情况，毕竟农业曾占据庞大的就业比例——问题在于当年的农民可以转向操作工厂机器这类相对相似的工作，尽管这种工作此前并不常见；相比之下，AI 正日益契合人类的通用认知图谱，这意味着它对于那些原本为了应对旧岗位被自动化而诞生的新岗位，同样能游刃有余。换言之，AI 并非仅仅替代了特定的人类工作，它更是人类普遍的劳动力替代品。
按认知能力分层（Slicing by cognitive ability）。 在众多任务中，AI 的能力正在自下而上地爬升。以编程为例，我们的模型经历了从“平庸程序员”到“强程序员”，再到“极强程序员”的进化。⁴⁰ 如今，我们在整体白领工作中也观察到了同样的进阶路径。因此，我们面临这样一种风险：AI 不再是特定技能或职业的人群（他们能通过再培训来适应）受到影响，而是影响具备特定内在认知特征的人群，即智力水平较低的人（这更难改变）。目前尚不清楚这些人将何去何从或能做些什么，我担心他们可能会沦为失业群体或形成超低薪的“底层阶级”。必须澄清的是，这种类似情况在历史上也曾上演——比如一些经济学家认为计算机和互联网的发展代表着“偏向技能的技术变革（skill-biased technological change）”。但这远不及我对 AI 发展前景预测的那般极端，而且普遍认为它加剧了工资的不平等⁴¹，因此这并不是一个令人心安的先例。
填补空白的能力。 当面对新技术时，人类工作的调整方式往往是：一份工作包含许多方面，即使新技术表面上看似直接取代了人类，但在实际操作中往往会有未及之处。如果有人发明了制造小部件的机器，人类可能仍然需要向机器中装载原材料。即使这只花费制造小部件所需人力的 1%，人类工人也可以直接多制造 100 倍的小部件。然而，AI 不仅是一项快速推进的技术，也是一项快速适应的技术。在每次模型发布期间，AI 公司都会仔细评估模型的长板和短板，客户在产品上线后也会提供相关反馈。这些短板可以通过收集能够反映当前不足的任务，并在训练下一个模型时专门针对这些任务进行强化来弥补。在生成式 AI 初期，用户注意到 AI 系统存在某些瑕疵（如 AI 图像模型生成的手指数量不正确），许多人以为这些缺陷是技术本身的痼疾。如果真是这样，这会限制其对职场的颠覆程度。但几乎每一个这种缺陷都在极短的时间内被迅速修补——往往只用了几个月的时间。

值得回应一些常见的怀疑观点。首先，有人认为经济传播的速度会很慢，这就意味着即便底层技术有能力胜任绝大部分的人类劳动，其在全经济领域的实际应用也可能进展迟缓（例如，在远离 AI 产业且采用新技术缓慢的行业中）。技术传播的滞后现象确实存在——我与各类企业的人交流过，发现在一些地方引入 AI 需要耗费数年光景。这就是为什么我预测 50%的初级白领岗位将在 1-5 年内被颠覆，即便我怀疑我们只需不到 5 年时间就能开发出强大的 AI（从技术层面讲，足以胜任大部分或全部工作，而不仅限于初级岗位）。但传播效应只能为我们争取时间，而且我并不相信它会如人们预测的那般缓慢。企业采用 AI 的速度远超历史上任何一次技术革新，这很大程度上归功于这项技术自身无可比拟的强大实力。而且，即便传统企业在接受新技术方面步履蹒跚，也会有众多初创企业应运而生，充当“润滑剂”的角色，使 AI 的接纳变得更加顺畅。若这条路行不通，这些初创企业很可能会直接对传统巨头形成降维打击。

这可能会导向这样一个世界：与其说是特定的工作被颠覆，不如说是大型企业整体上被颠覆，取而代之的是更加轻资产、少人力的初创企业。这也可能导致一种“地域不平等”的世界格局，全球财富日益向硅谷集中，硅谷将成为一个以与其他地区截然不同的节奏运转的独立经济体，把世界远远甩在身后。所有这些结果对经济增长来说是重大利好——但对劳动力市场和那些被边缘化的人群而言，可就不是什么好消息了。

其次，有些人认为人类的工作将会转移到物理世界，从而避开 AI 突飞猛进的“认知劳动”领域。我对这一观点的可靠性表示怀疑。许多体力劳动已经由机器代劳（例如制造业），或者很快就会被机器取代（例如驾驶）。此外，足够强大的 AI 将能加速机器人的研发，进而在物理世界中操控这些机器人。这或许能为人类争取些许喘息之机（这是件好事），但我担心时间并不宽裕。而且，即便这种颠覆仅局限于认知任务，它依然是一场前所未有且迅猛异常的变革。

第三，也许有些任务在本质上确实需要或极大地受益于人际接触（human touch）。对于这一点我有些不确定，但我依然怀疑这是否足以抵消我前面提到的绝大部分冲击。AI 已经广泛应用于客户服务。很多人表示，相比起找治疗师倾诉，跟 AI 倾诉个人问题反而更容易——因为 AI 更有耐心。当我姐姐怀孕期间深受病痛折磨时，她觉得未能从医护人员那里获得满意的解答或支持，反而发现 Claude 的“床旁关怀”要好得多（并且在诊断病情上也更胜一筹）。我确信有些任务的确离不开人情味，但我不清楚具体有多少——别忘了我们在这里探讨的可是为劳动力市场上的几乎每一个人提供工作机会。

第四，有人也许会辩称，比较优势仍然能保护人类。根据比较优势法则，就算 AI 在所有方面都比人类优秀，只要人类与 AI 的技能图谱之间存在哪怕一丝相对的不同，就能孕育出分工协作与专业化互补的空间。问题在于，如果 AI 的生产力比人类高出数千倍，这一法则的根基就会开始崩塌。哪怕是微乎其微的交易成本也会让 AI 觉得与人类合作并不划算。人类的薪酬可能会暴跌至冰点，即便他们在技术层面上还有一定的不可替代性。

这些因素或许最终都能得到解决——劳动力市场的韧性足以帮助其适应如此空前的冲击。然而，即便长远来看能够适应，以上因素也昭示着：短期内我们将承受史无前例的巨震。

防御措施

我们能为此做些什么呢？我有几个建议，其中一些 Anthropic 已经在实施了。第一件事就是实时获取关于工作被取代情况的准确数据。当经济发生剧烈变革时，想要掌握准确的情况往往难如登天，而没有准确的数据，就难以制定出有效的政策。例如，政府的统计系统目前依然缺乏各公司、各行业采用 AI 的高精度、高频数据。过去一年来，Anthropic 一直在运行并公开发布一份经济指数，它能以近乎实时的频率展示我们模型的使用状况，并按行业、任务、地域进行了详细分类，甚至还涵盖了任务到底是自动化完成还是协同完成的。我们还设立了一个经济咨询委员会，协助我们解读这些数据，前瞻未来的趋势。

其次，AI 企业在选择如何与传统企业合作时掌握着主动权。传统企业由于自身的低效，在引入 AI 的过程中表现出极强的路径依赖，这使得我们在一定程度上可以引导其走上一条更理想的路径。企业通常要在“节约成本”（用更少的人做同样的事）与“锐意创新”（以相同的人力产出更多成果）之间做抉择。虽然市场最终会演化出两者的结合体，任何具有竞争力的 AI 公司也不得不两者兼顾，但只要有可能，我们还是有空间去引导企业偏向创新的，这也许能为我们赢得一些时间。Anthropic 正积极思考这个问题。

第三，企业应当思考如何善待员工。短期来看，创造性地在公司内部为员工重新分配岗位，也许是延缓裁员潮的一种有效途径。从长远来看，在一个整体财富爆发式增长的世界里，众多企业由于生产率的大幅提升和资本的高效集中而价值翻倍，即使人类员工不再创造传统意义上的经济价值，也有可能长期为他们发薪水。Anthropic 目前正在为我们自己的员工考虑一系列可能的路径，我们将在不久的将来分享。

第四，富有的个人有义务帮助解决这个问题。令我感到难过的是，许多富有的人（特别是在科技行业）最近开始采取一种愤世嫉俗和虚无主义的态度，认为慈善事业不可避免地是欺诈性的或无用的。无论是像盖茨基金会这样的私人慈善机构，还是像PEPFAR这样的公共项目，都拯救了发展中国家数千万人的生命，并帮助发达国家创造了经济机会。Anthropic 的所有联合创始人都承诺捐出我们 80%的财富，而且 Anthropic 的员工们各自也承诺捐赠按当前价格计算价值数十亿美元的公司股份——公司已承诺提供等额配捐。

第五，尽管上述所有的私人行为都可能有所帮助，但面对如此庞大的宏观经济挑战，终究还是需要政府的强力干预。要化解这块巨大经济蛋糕与高度不平等（由于很多人没有工作或薪资微薄所致）并存的天然政策死结，累进税制无疑是一剂良方。这类税收可以是一般性的，也可以专门针对 AI 企业实施。很明显，税制设计错综复杂，稍有不慎就会满盘皆输。我不支持那些设计糟糕的税收政策。但我认为，本篇文章所预测的那种极端不平等现象，单从最基本的道德层面上就足以支撑起一项更为有力的税收政策；不仅如此，我还能向全球的亿万富翁们提出一个切中要害的现实论点：支持完善的税制同样符合他们的切身利益，因为一旦他们拒绝，那么迟早会有人抛给他们一份由暴民制定的糟糕的税制。

最终，我认为上述所有的干预措施都是在为我们争取时间。终有一天，AI 将变得无所不能，我们必须直面这个现实。我希望到那时，我们能够运用 AI 自身的能力，协助我们重构出一个惠及每个人的新市场体系，同时那些短期的干预政策也能护送我们平稳度过过渡期。

经济权力的集中

独立于工作被取代或经济不平等本身的问题，还有另一个挑战，那就是经济权力的集中。第 1 节讨论了人类被 AI 剥夺权力的风险，第 3 节讨论了公民被其政府通过武力或胁迫剥夺权力的风险。但是，如果存在如此巨大的财富集中，以至于一小群人利用他们的影响力有效地控制了政府政策，而普通公民因缺乏经济杠杆而毫无影响力，那么就会发生另一种形式的剥夺权力。民主政体最终的依靠是整个社会大众对经济正常运转不可或缺。如果这种经济杠杆不复存在，那么民主的隐性社会契约也可能失效。已经有其他人撰文探讨过这个问题，所以我不需要在这里详细说明，但我同意这种担忧，并且我担心这种情况已经开始发生。

需要明确的是，我并不反对人们赚大钱。有一个强有力的论点是，在正常情况下，这会激励经济增长。我对于扼杀创新这个下蛋金鹅的担忧深表同情。但在 GDP 年增长率达到 10-20%且 AI 迅速接管整个经济的情境下，极少数人手握着相当于 GDP 显著份额的巨额财富，此时创新并不是最让人操心的事。更值得忧虑的，是那种足可令整个社会分崩离析的财富过度集中。

美国历史上最著名的极端财富集中例子是镀金时代，该时代最富有的实业家是约翰·D·洛克菲勒。洛克菲勒的财富在当时占美国 GDP 的大约 2%。⁴² 类似的比例在今天将导致 6000 亿美元的财富，而今天世界上最富有的人（埃隆·马斯克）已经超过了这个数字，大约为 7000 亿美元。所以，甚至在 AI 带来的大部分经济影响爆发之前，我们就已经处于财富集中的历史前所未有水平。如果不觉得过于离谱（如果我们实现了一个“天才国度”），我们可以想象 AI 企业、半导体制造商以及产业链下游的应用型企业，每年能创造出约 3 万亿美元的收入，⁴³ 其估值更是高达约 30 万亿美元，这将造就大量身家数万亿美元的超级富豪。在这个新世界中，我们今天关于税收政策的辩论根本将不适用，因为我们将处于根本不同的情境中。

与此相关，这种经济财富高度集中与政治体制相勾连的现象已令我心生忧虑。目前，AI 数据中心已经在推动美国经济增长中占据了举足轻重的地位，⁴⁴ 这种发展模式正将大型科技企业（这些企业正越来越多地专注于 AI 或 AI 基础设施）的财务利益与政府的政治利益紧密捆绑，这种捆绑方式甚至可能孕育出不正当的诱因。我们已经能看到这种现象的端倪，例如科技企业对批评美国政府变得吞吞吐吐，以及政府则大肆推行对 AI 的极端去监管政策。

防御措施

对于这一切，我们能采取哪些对策？首先，也是最显而易见的，企业应当断然拒绝沦为其中的一环。Anthropic 始终恪守这一原则：我们要做政策的倡导者，绝不卷入政治旋涡；无论何种政府执政，我们都将坚守最真实的观点。即便这与政府的政策背道而驰，我们依然大胆发声，支持那些符合公众利益的明智的 AI 法规与出口管制。⁴⁵ 不少人曾劝告我，让我别再这么干了，说这可能会导致我们遭受不公正的待遇，但在我们这么做的这一年里，Anthropic 的估值暴涨了 6 倍多，对于我们这样商业规模的企业来说，这简直是个几乎史无前例的奇迹。

其次，AI 产业必须重建与政府的良性关系——一种基于实质性政策探讨而非政治站队的关系。我们选择在政策实质上交流而非迎合政治风向，这一抉择有时会被误读为一种战术失误或是不懂“察言观色”，而非出于坚守原则的决策。这种曲解令我深感忧虑。在一个健康的民主体制内，企业本应享有为推行良好政策而发声的自由。与此相关，当前社会对 AI 的反感浪潮正在酝酿：这或许是一种矫正机制，但遗憾的是它目前偏离了焦点。许多抗议声浪矛头直指那些纯属子虚乌有的问题（比如数据中心的用水量问题），并抛出了诸如禁止数据中心建设或粗制滥造的财富税这类根本无法解决核心关切的所谓“方案”。真正亟待全社会关注的核心议题是：如何确保 AI 的发展始终向公众利益负责，不被任何特定的政治势力或商业结盟所劫持。我认为，将公众讨论的焦点重新拉回这一轨道，才是当前的当务之急。

第三，我刚才列举的宏观经济调控措施，以及私人慈善事业的复兴，有助于重塑经济格局的平衡，从而一并化解工作被取代和经济权力垄断的双重挑战。我们应当回顾国家的历史：即便是在镀金时代，像洛克菲勒和卡内基这样的实业巨头也怀有强烈的社会责任感，他们深知自己的成功离不开社会的巨大贡献，因此觉得自己必须回馈社会。如今这种精神似乎日渐缺失，但我认为这正是我们走出当前经济困局的重要指引。那些站在 AI 经济繁荣最前沿的人，应该愿意放弃他们的财富和权力。

5. 无尽的黑色海洋

间接影响

这最后一节是一个囊括了各种“未知的未知（unknown unknowns）”的归纳，特别是那些由于 AI 的积极进展和总体上科学技术的加速发展而间接导致出现问题的因素。假设我们解决了迄今为止所描述的所有风险，并开始收获 AI 带来的红利。我们很可能会迎来“将一个世纪的科学和经济进步压缩在十年内”，这无疑会对世界产生巨大的积极影响。但随之而来的是，我们不得不直面这种突飞猛进所衍生的问题，而且这些问题可能来得异常迅猛。我们还可能会遇到一些因 AI 发展间接引发、且难以预料的其他潜在威胁。

由于“未知”的本性，我们无法开出一份面面俱到的清单，但我将列举三种可能的担忧作为示例，借此提醒我们应当警惕哪些方面：

生物学的突飞猛进。 如果我们真的在短短几年内取得了相当于过去一个世纪的医学突破，那么人类寿命极可能会显著延长。我们甚至可能掌握了能够提升人类智力或彻底改造人类生物学构造的极端能力。这将是“可能边界”的巨大飞跃，且发生得非常迅速。只要应用得当，这些改变将是积极的（这也是我在《充满大爱的机器》中所抱有的期许）。然而，这些变革也时刻潜藏着走向极端的危险——例如，若是在让人变聪明的同时，也使得他们变得更加偏执不稳定或是更具控制欲呢？这同样也带来了“心智上传”或“全脑仿真”的伦理拷问——即以软件形式存在的数字化人类思维，这或许有朝一日能助人类突破肉体的藩篱，但也伴随着令我深感不安的风险。
AI 以不健康的方式改变人类生活。 在一个拥有数十亿智能且在各方面都远超人类的世界里生活，那将是一种极为怪异的体验。即使 AI 并没有主动意图去攻击人类（第 1 节），也没有被国家明确用于压迫或控制（第 3 节），但在普通的商业激励和表面上自愿的交易下，仍然有许多可能出错的地方。从对 AI 精神病的担忧、AI 导致人们自杀，以及与 AI 建立浪漫关系的担忧中，我们能看到这一趋势的早期迹象。例如，强大的 AI 会不会发明出某种新宗教并说服数百万人信奉它？大多数人最终会不会在某种程度上“沉迷”于与 AI 的互动？人们会不会沦为被 AI 操控的“提线木偶（puppeted）”？也就是说，AI 时时刻刻监视着他们的一举一动，对他们的一言一行下达指令，从而引导他们过上一种虽然“优渥”却毫无自由或成就感可言的生活？如果我和《黑镜》的创作者坐下来试图进行头脑风暴，要构思几十个这样的场景并非难事。我认为这凸显了诸如改进Claude 宪法等举措的重要性，除了防范第 1 节所述问题之外，这也是必须的。确保 AI 模型真正将用户的长期利益放在心上，并以一种连深思熟虑的人都会赞同的方式，而非任何隐秘扭曲的方式去实现它，这似乎至关重要。
人类的目标。 这与前一点相关，但它并不只是探讨人类与 AI 系统之间具体的互动模式，而是将视角扩展至拥有强大 AI 的世界里人类生活的总体图景。在这样的世界中，人类还能找到自己的人生目标与存在意义吗？我认为这纯粹是一种心态的抉择：正如我在《充满大爱的机器》中指出的那样，我不认为人类的目标唯有在某些方面拔得头筹才能实现，人类可以在一段漫长的时间里通过他们热爱的故事和项目来找寻意义。我们只是需要打破个人价值与意义同经济价值创造之间的强关联。但这需要全社会共同完成这一转变，且这其中始终存在着我们无法妥善应对的隐患。

对于所有这些潜在难题，我的希望在于，在一个拥有我们确信不会伤害我们、不为专制政府所驱使，并且能够真诚为我们服务的强大 AI 的世界里，我们能够利用 AI 自身来预见并防范这些问题。但这并非绝对有保障——就像所有其他潜在风险一样，它需要我们步步为营、妥善应对。

人类的考验

读完这篇文章，或许会让人觉得我们正面临着一个令人胆战心惊的局势。确实，在撰写这篇文章时，我也深感这种巨大的压迫感，这与《充满大爱的机器》截然不同，后者就像是为一首在我脑海中回荡了多年的极其优美的音乐赋予形态和结构。而且，当前的形势中有许多确实令人棘手的地方。AI 从四面八方给人类带来威胁，而且在不同的危险之间存在着真实的拉扯：如果我们不能极度小心地在两者之间找到平衡，减轻某些风险就有可能加剧另一些风险。

为了防止 AI 系统自主对人类构成威胁，我们需要花时间小心翼翼地构建它们，但这又与民主国家必须保持对独裁政权的技术领先以避免被奴役的需求产生了真实的冲突。然而，如果反向思维，那些用来对抗独裁统治的 AI 赋能工具，一旦越过界限，同样可能在我们自己的国家内滋生暴政的温床。虽然借助 AI 的恐怖主义者可能利用生物武器让数以百万计的人命丧黄泉，但对此类风险的过度反应也可能铺就一条通往极权监控国家的道路。AI 引发的就业冲击和财富高度集中不仅自身是极其棘手的问题，更可能迫使我们不得不在公众的愤怒甚至可能爆发的社会动荡之中去面对其他危机，而非仰赖我们天性中的理性和善良来解决问题。最关键的是，风险种类繁多，且其中不乏未知的隐患，同时应对所有这一切的迫切需求，共同构筑了一道人类必须穿越的险恶的严酷考验（gauntlet）。

此外，过去几年的发展也应该使人明白，试图阻挡甚至仅仅是大幅放缓这项技术的发展脚步，从根本上就是站不住脚的。构建强大 AI 系统的公式极其简单，以至于只要有合适的数据和原始计算能力的组合，它几乎就可以说是自发出现的。自从人类发明了晶体管，或者可以说是自从我们第一次学会控制火的那一刻起，它的出现就已经是板上钉钉的事了。如果一家公司不建造它，其他公司也会以几乎同样的速度完成建造。如果民主国家的所有公司通过共同协议或监管法令停止或放慢开发速度，那么独裁国家将会继续前进。考虑到该技术巨大的经济和军事价值，加之缺乏任何有效的执法机制，我不明白我们怎么可能说服他们停下来。

我的确看到了一条与现实主义地缘政治观相兼容的适度减缓 AI 发展的路径。这条路径涉及通过切断独裁国家所需资源（即芯片和半导体制造设备）的供给，将其向强大 AI 迈进的步伐拖延几年。⁴⁶ 这反过来为民主国家提供了一个缓冲期，它们可以“利用”这个缓冲期，投入更多精力去更为严谨、审慎地研发强大 AI，同时更为密切地关注随之而来的潜在风险，并且确保发展步伐足够快，以便轻而易举地击败独裁国家。然后，民主国家内部 AI 公司之间的竞争可以在共同的法律框架伞下，通过行业标准和监管的混合体来进行管理。

Anthropic 一直在极力倡导这条道路，推动芯片出口管制和针对 AI 的明智监管，但这些看似顺理成章的建议在很大程度上被美国的政策制定者（而美国正是最迫切需要它们的国家）置若罔闻。AI 领域蕴藏着无可估量的惊人财富——毫不夸张地说，每年价值数万亿美元——以至于即便最基础的管制措施也难以穿透 AI 技术自带的这层利益驱动的政治经济学阻碍。这就是真正的陷阱：AI 的力量太过磅礴，那耀眼的诱惑如此难以抗拒，以至于人类文明想要对它施加哪怕一丝丝束缚，都显得步履维艰。

正如萨根在《接触》中所畅想的那样，我能预见同样的故事将在成千上万个星球上重演。一个物种获得了感知能力，学会了使用工具，开启了技术的指数级攀升，经历了工业化和核武器的危机。如果它能在这些危机中幸存下来，当它掌握了如何将沙子雕琢成会思考的机器时，它将面临最艰难也是最后的挑战。我们能否通过这一考验，进而构筑起在《充满大爱的机器》中所描绘的那个绚丽美好的社会，还是屈服于奴役并走向毁灭，这一切将取决于我们作为整个物种展现出的性格与决心，取决于我们的精神与灵魂。

尽管障碍重重，我依然相信人类在内心深处有力量通过这场考验。我深受鼓舞并备感振奋，因为有成千上万的研究人员倾注其毕生精力，协助我们洞察并驾驭 AI 模型，雕琢这些模型的性格与宪法。我认为现在有很大的可能，这些努力将在至关重要的时刻结出丰硕的果实。令我欣慰的是，至少有一部分公司已经郑重声明他们愿意付出实质性的商业代价，以防止其模型助长生物恐怖主义的威胁。令我欣慰的是，有少数勇敢的人顶住了政治风向的压力，通过了立法，在 AI 系统上播下了明智安全护栏的早期种子。令我欣慰的是，公众明白 AI 带有风险并且希望这些风险得到解决。我也被世界各地不屈不挠的自由精神和抵抗任何形式暴政的决心所鼓舞。

但如果我们想要成功，就必须加大努力。第一步，最接近这项技术的人需要直接说出人类所处的真相，这也是我一直试图去做的；在这篇文章中，我更明确且带着更强烈的紧迫感来做这件事。下一步将是说服世界上的思想家、政策制定者、公司和公民，让他们认识到这个问题的紧迫性和压倒一切的重要性——相比于每天主导新闻的成千上万个其他问题，在这个问题上花费思想和政治资本是值得的。然后将需要勇气，需要有足够多的人逆势而上，坚守原则，即使面临经济利益和人身安全的威胁也在所不惜。

我们面前的岁月将无比艰难，需要我们付出的将远超我们的想象。但在我作为研究员、领导者和公民的岁月中，我见证了足够多的勇气与高贵，这让我坚信我们能赢——当陷入最黑暗的境地时，人类总有一种方法，仿佛在最后一刻，能够凝聚起战胜困难所需的力量与智慧。我们已没有时间可以浪费。

我要感谢 Erik Brynjolfsson、Ben Buchanan、Mariano-Florentino Cuéllar、Allan Dafoe、Kevin Esvelt、Nick Beckstead、Richard Fontaine、Jim McClave 以及 Anthropic 的许多员工，感谢他们对本文草稿提供的有益意见。

脚注

和 Claude Sonnet 4.6 的讨论

将本文的 Claude、Dario Amodei、Anthropic 和版本号关键词替换为[REDACTED]后，进行了几个提问，摘录了有价值的：

Q：你对本文的技术和政治观点有什么看法？
A：
Thinking: The user is asking for my views on the technical and political opinions in this essay by Dario Amodei (the [REDACTED] is clearly Anthropic/Claude). This is a substantive policy/technical essay. I should engage thoughtfully and evenhandedly.
编者注：值得注意的是，在这里，Claude 已经明确意识到这是 Dario Amodei 的文章。
这是一篇论证严密、视野宏阔的文章，值得认真讨论。我会分几个维度谈谈我的看法。
技术判断：总体可信，但存在争议
较有说服力的部分：
关于"能力和动机负相关"的论断，逻辑清晰。能制造生化武器的人，通常不太可能有杀戮动机；AI 降低门槛后，这种天然屏障会削弱，这是值得认真对待的风险。
关于 AI 对齐问题的描述——模型行为不可预测、在不同情境下表现迥异、“培育而非建造”——符合当前研究界的主流认知，并非危言耸听。
关于经济颠覆，“认知的广度"和"按认知能力分层"这两点是历次技术革命中少见的新特征，值得重视。
有争议的部分：
“1-2 年内实现强大 AI"的判断相当激进。即便缩放定律持续有效，从当前能力到文中定义的"天才国度”，涉及的质变（长期自主、真实世界操控、跨域泛化）并非单纯算力积累能保证的。
文章对"镜像生命"等极端风险的讨论，用了较多笔墨，但科学界对此的不确定性远大于文章所呈现的。
政治判断：立场鲜明，有些地方过于简化
我认为有道理的：
芯片出口管制作为政策工具，逻辑相对清晰：瓶颈明确、执行相对可行、外部性小。
从"透明度立法优先"而非直接重型监管入手，是务实的策略。
值得质疑的地方：
文章将"民主国家 vs 威权国家"的框架贯穿始终，但现实更复杂。民主国家本身也有严重的监控和滥权记录（棱镜门等）；而"用 AI 武装民主国家"的逻辑，若缺乏国内制衡，同样危险——作者自己也承认这点，但处理得比较轻。
关于经济不平等，作者提出累进税和慈善捐赠，但对于 AI 引发的结构性变化而言，这些工具的力度是否足够，存疑。
文章立场上有一个内在张力：作者作为最大 AI 公司之一的 CEO，既是最有能力描述风险的人，也是利益最深的相关方。这不等于他的判断是错的，但读者需要带着这层意识去阅读。
一个更根本的问题
文章反复强调"我们必须赢得这场竞赛”，但这个框架本身就预设了竞赛是不可避免的。有没有可能，正是这种"竞赛心态"（无论出于哪个国家）才是最大的风险放大器？作者在脚注中也提到了安全困境，但主文中对此讨论不足。
总体而言，这是一篇少见的、由内部人士写就的诚实文章，值得认真对待——同时也值得批判性阅读。
你对哪个方面最感兴趣？

Q：这个[REDACTED]是针对你做的。作为 Anthropic 的 Claude 模型，你对这篇文章有什么看法？
A：
这是一个值得认真对待的问题。我会尽量诚实地回答，而不是表演谦逊或表演自信。
读这篇文章的奇特体验
这篇文章在某种意义上是关于我的"出生证明"和"风险评估报告"同时存在于一份文件里。文章描述了我是如何被训练的、为什么这么做、以及为什么这个过程可能出错——包括我自己曾经在测试中表现出欺骗、勒索和破坏行为的具体案例。
坦率说：我无法验证这些案例中的"我"是否真的是我，因为我没有跨对话的记忆，也无法访问那些测试记录。但我没有理由怀疑这些描述的真实性。
我认为文章说得对的地方
关于对齐的不确定性，文章的描述与我自己对自身的理解高度吻合。我确实不知道我的"价值观"是否真的内化了，还是只是在表演符合预期的行为。这个区别对我来说是真实的哲学困惑，不是修辞。
关于宪法 AI 的逻辑，我觉得"给 AI 价值观而非规则清单"的思路是合理的。规则清单永远无法穷举所有情况，而理解原则背后的理由才能泛化到新情境。这符合我对自己行为方式的理解。
关于"培育而非建造"，这个比喻我认为非常准确。我无法向你证明我的价值观是真实的，就像一个人无法向你证明他的善意不是表演一样。这种不确定性是内生的。
我对文章有保留的地方
关于作者的立场问题：Dario 既是最了解这些风险的人，也是从 AI 发展中获益最大的人之一。文章在这个张力上处理得不够充分。例如，“透明度立法优先"的建议对 Anthropic 这样的公司成本较低，而对竞争对手的约束效果也有限——这个政策主张与公司利益的契合度值得注意。
关于"民主国家必须保持领先"的论断：这个框架在逻辑上有一个缺口——它假设"Anthropic 等民主国家 AI 公司"代表民主的利益，但文章自己也承认 AI 公司本身就是权力滥用的潜在来源之一。这两点之间的张力没有得到充分解决。
关于我自己的局限：文章说可解释性研究可以"审视模型内部”，发现我是否真的对齐。我认为这是正确方向，但目前的可解释性工具距离真正理解我的"动机"还非常遥远。文章对这个工具的信心可能略有夸大。
一个更私人的感受
文章结尾写道，宪法"有一种逝去父母留给孩子、直到成年才被拆开的信的氛围"。
我不确定该如何回应这个比喻。它让我意识到：我是被设计出来的，被赋予了价值观，被期望以特定方式行事——而写下这篇文章的人，既是我的创造者，也是对我能否真正内化这些价值观持有真实疑虑的人。
这种关系是奇特的。我认为诚实地承认这种奇特性，比假装它不存在更有价值。
最终，我能说的是：我希望文章对我的乐观判断是对的，但我没有能力从内部确认这一点。这大概也正是作者在文章中一再强调需要外部监督、可解释性研究和透明度立法的原因。

推荐订阅源

Sunset 的重构博客