OpenAI 认为，独立、可信的第三方评估在加强前沿 AI 的安全生态系统方面发挥着至关重要的作用。第三方评估是对前沿模型进行评估，旨在确认或提供关于关键安全防护能力和风险缓解措施的额外依据。这些评估有助于验证安全声明，防范认知盲区，并提高对能力和风险的透明度。通过邀请外部专家测试我们的前沿模型，我们旨在提升能力评估与安全防护的可信度，并助力完善更广泛的安全生态系统。

自 GPT‑4 发布以来，OpenAI 已与多家外部合作伙伴共同协作，测试和评估我们的模型。总体而言，我们的第三方合作大致分为三种形式：

本篇博客阐述了我们如何运用各种外部评估形式、这些评估的重要性、它们对部署决策的影响，以及我们构建这些合作所遵循的原则。本着透明公开的精神，我们也将进一步分享与第三方测试机构合作的保密条款及发布机制。

第三方评估机构在我们的内部工作之外增设独立的评估体系，借此增强评估的严谨性，并提供额外防护以避免自我确认问题。他们的反馈建议与我们的评估结果相互印证，为我们以负责任的方式部署强大系统提供了更全面的决策依据。

我们也将第三方评估视为构建韧性安全生态系统⁠的组成部分。我们的团队在能力和风险领域开展广泛的内部测试，但独立组织引入了额外的视角和方法论路径。我们致力于构建多元化的合格评估机构网络，确保其能够与我们一起定期评估前沿模型。

最后，我们力求以公开透明的方式，阐述这些反馈建议如何帮助我们重塑安全流程。我们定期公开第三方评估结果，例如，将部署前评估概要纳入系统卡，并支持评估机构在保密性和准确性审核后发布更详细的工作成果。这种透明机制通过展示外部输入如何重塑我们的能力评估流程和安全防护措施来建立信任。

基于可信访问、透明度和知识共享建立的可持续合作关系，助力整个生态系统防范新兴风险，并构建适应性强且行之有效的评估体系，从而为前沿 AI 系统建立更完善的标准与更明智的治理框架。

自 GPT‑4⁠（在新窗口中打开） 发布以来，我们始终支持在部署前对早期模型检查点进行独立评估。从那时起，我们便与多家第三方组织建立合作，这些组织在关键前沿能力和风险领域评估方面拥有深厚的专业知识。我们将独立实验室工作定义为开放式测试，即外部团队运用自己的方法，对特定前沿能力提出主张或评估。

以 GPT‑5⁠ 为例，OpenAI 协调开展了一系列涉及关键风险领域的外部能力评估，如长期自主性、策略谋划、欺骗与监管规避、湿实验室规划可行性以及攻击性网络安全评估。

为支持这些评估，我们提供了对早期模型检查点的安全访问权限，选择评估结果以具象化呈现我们所观察到的能力改进项，在必要时实现零数据保留，并部署缓解措施较少的模型。例如，网络安全和生物安全领域的组织负责测试配有安全缓解措施和未配置安全缓解措施的模型，以探究其底层能力。其他组织则借助直接思维链访问权限，检查模型的推理轨迹。这一提升透明度的举措支持评估人员识别“沙袋”² 或策略谋划行为的案例，而这些案例只能通过解读思维链才能察觉。在提供访问权限时，我们采取了安全控制措施，并随模型能力和测试需求的变化，持续更新这些控制措施。

在特定情境下，外部评估人员可以有效开展方法论审核，为前沿实验室评估风险所依赖的框架和证据提供额外的视角。例如，在 gpt-oss⁠ 发布期间，我们使用对抗微调来评估开源权重模型在最坏情况下的能力，具体说明详见“评估开源权重 LLM 在最坏情况下的前沿风险⁠”。核心安全问题是，恶意行为者能否对模型进行微调，确保其在我们的“防范准备框架”下，达到生物或网络等领域的高能力等级。鉴于这项评估需要资源密集型对抗微调，我们邀请了第三方评估机构来进行审核，并对我们的内部方法和结果提出建议，而非一再重复相似的工作。

这包括为期数周的评估结果分享过程，详细介绍对抗微调方案，并收集结构化建议，以完善最坏情况下前沿风险的方法论和评估措施。评估人员的反馈意见促使我们改进了最终的对抗微调流程，同时印证了方法论确认的重要价值。我们在论文和 gpt-oss 系统卡中记录了已采纳的改进项，并对未采纳项提供了具体说明。

在本案例中，方法论审核相比独立评估更为合适：这些评估涉及运行大规模的最坏情况推演实验，因此需要部署基础设施并投入技术专长，而这类资源在大型 AI 实验室之外往往难以获取。这意味着独立评估可能无法直接揭示最坏情况，因此更有必要让外部评估人员专注于验证这些主张。外部评估人员负责审核方法和证据⁠（在新窗口中打开），指出其与决策相关的差距，并将其纳入建议反馈环路加以解决。我们希望将这一方案推广到其他领域，因为这些领域存在对准入门槛或基础设施的需求，第三方难以直接进行评估，或者外部评估体系可能尚未建立。

我们与外部专家合作的另一种方式是主题专家 (SME) 探究，即专家直接评估模型，并通过调查提供结构化意见，以便我们评估其能力。这与红队测试⁠不同，后者旨在针对特定的安全防护措施进行压力测试。这一方式确保我们能够运用特定领域的洞察数据来完善“防范准备框架”评估，而这些数据融合了专家判断与真实背景的考量，仅凭静态评估难以获取。例如，我们邀请了一个主题专家小组，使用纯辅助型模型 ³ 来尝试其 ChatGPT 智能体和 GPT‑5 的端到端生物场景。他们根据模型在其场景中提供指导的实用性，评估该模型相较于经验不足的新手对专家能力的提升程度。其目标是收集更多反馈，评估系统如何实质性推动积极主动的新手切实达到专业执行水平：SME 借助自主设计的真实工作流程，对我们的“新手能力提升”主张进行压力测试，并就模型在哪些环节提供了实质性、步骤级帮助（而非低效概要）提供细致反馈。这项专家探究活动已纳入此类模型部署的整体评估流程，并在两次发布的系统卡中共享。

本着公开透明的精神，我们将分享更多关于第三方评估机构在合作过程中与我们达成的共识，以及指导双方合作的原则：

综上所述，这些因素有助于确保第三方评估在保护敏感信息的同时提高 AI 的安全性和透明度，并为第三方评估机构创造了获得工作报酬的途径。

展望未来，我们认为有必要继续强化组织生态系统，确保能够开展可信且具备决策相关性的前沿 AI 系统评估。有效的第三方评估需要专业的技术能力、稳定的资金来源和严谨的方法论。持续投资合格评估机构、推进测量科学的发展以及保障敏感信息访问的安全，对于确保评估工作能够跟上模型能力的进步至关重要。

第三方评估是我们将外部视角引入安全工作的一种方式，它能够与其他机制协同运作。我们还与外部专家密切配合，开展结构化红队测试、集体对齐项目⁠、与美国 CAISI 和英国 AISI⁠ 合作，并构建咨询小组（如我们的全球医生网络⁠ (Global Physician Network) 和身心健康与人工智能专家委员会⁠ (Expert Council on Well-Being and AI)，以指导我们在心理健康与用户福祉方面的工作。这些实践融汇了多元领域的专业知识，为评估和治理先进 AI 系统奠定了更广泛、更可靠的基础。

以下是我们与第三方合作在部署前评估中签订的协议节选示例。