关于独立评估者的进展
本文目录
第一章：我们为何与独立评估者合作#
上个月，我们承诺对我们的模型与安全实践进行更强有力的独立第三方评估。我们还签署了《白宫超级智能协议》（White House Accord on Super Intelligence），其中各公司承诺与独立的外部审计方或评估方合作。今天，我们宣布已开始向 METR 的一个团队提供「类似员工」的访问权限——METR 是一家评估前沿 AI 模型的非营利机构。
METR 将公开发布其风险评估结果。过去一年里，我们已与 METR 就我们的多份风险报告（Risk Report）开展了若干次评审合作。我们还正与 SecureBio 和埃森哲（Accenture）作为评估方合作，并正在与包括 Hugging Face 在内的另外几家机构进行早期商谈。
下面，我们解释与评估者合作的方式。
我们为何与独立评估者合作#
随着模型能力增强，它们需要更强的防护措施与更具挑战性的风险评估。我们希望对自身所做的决定承担公开责任。但我们无法把所有与安全工作相关的信息都公开——有些信息可能被恶意行为者利用，有些则具有商业敏感性，例如算力或训练信息。因此，我们转而让第三方评估者深度接触我们的信息，并由他们分享关于构建模型所涉风险的证据与有理由支撑的结论。我们的目标是缩小评估者对一个前沿 AI 公司系统的理解与该理解同公司自身所知之间的差距。
要评估前沿模型，评估者需要具备以下几点：
- 评估前沿模型能力的专长，包括理解评估可能出错的方式，例如对齐伪装（alignment faking）。
- 独立性：他们不应持有被评估公司的股权，也不应在财务或运营上依赖于该公司。
- 足以有意义地评估风险的访问权限。除了接触最新模型，评估者还需要了解这些模型是如何训练的、我们的防护措施如何运作等等。
- 有权发布对某个模型或某项流程的观察与评估。
尽管这一类比并不完全贴切，但银行监管遵循类似的逻辑。银行对自身风险敞口的了解多于外部人士，因此监管机构会向大型银行派驻常驻检查员。如果一家银行的风险承担行为可能威胁公众，第三方会试图提前洞察。
对 AI 行业而言，这是迈向稳健安全监督的一步。我们正与多家评估者快速推进，并积极了解何种合作方式行之有效。我们承诺持续分享进展。
我们所说的「类似员工的访问权限」是什么意思#
我们已为六名 METR 员工办理入职，提供公司硬件、办公空间，以及对内部工具和系统的访问权限，其程度大致与我们自己的风险评估团队相当。除了少数明确界定的类别（例如客户数据、受律师-当事人保密特权保护的信息，或关于我们模型架构的信息）之外，Anthropic 员工被鼓励像对待一位从事对齐风险工作的同事那样，与他们共享信息。1
METR 将发布其对我们风险水平、事件或实践的分析。Anthropic 不能否决发布，但若信息落入预先定义的类别（例如复现机密知识产权），我们可以要求其进行删节。（最终由 Anthropic 判定某项信息是否属于这些类别，不过 METR 保留就其获得的访问权限与信息级别作出某些陈述的权利。）2
我们与 METR 的合作仅限于一个在可强制执行协议下运作的小团队。METR 的其他员工与该团队的工作相互隔离，包括在其他项目上与我们合作的研究人员。嵌入式评估让少数在 Anthropic 安全标准下工作的合资格人士能够近距离观察我们的运作方式。这并非其他机构获取我们信息、或我们客户与合作伙伴信息的手段。
我们其他的评估者合作#
我们还在推进若干其他合作。由于这些合作仍处于早期阶段，我们向这些评估者提供的信息更为有限，他们的发布权利也更为有限。我们在这些早期合作中的目标是确保合作伙伴能够保护机密信息，并具备评估我们模型所需的资源与专长。随着合作关系推进并建立起信任，我们希望把更多独立评估者全面嵌入。
我们正在为评估者设计三个层级的访问权限。随着时间推移，我们希望第三层级能有若干家评估者，每个团队都发布各自对我们风险态势与关键决策的分析。
在第一层级，评估者开展范围狭窄的风险调查。由我们决定向第一层级评估者提供何种访问权限，评估者可在获得我们批准后发布其发现。
在第二层级，评估者无需我们批准即可发布，并且可接触更多信息。我们仍可要求移除特定类别的信息，但评估者可以就我们的删节是否合理发表看法。
第三层级即我们与 METR 所描述的安排：类似员工的访问权限，以及类似于第二层级的发布权利。
SecureBio 在完成并发布了针对我们上一份风险报告的试点评审之后，目前正在评审我们 8 月风险报告中关于化学与生物武器的章节。此次评审完成后，我们将考虑转向访问权限更高的项目。3
我们正与埃森哲（Accenture）和 Faculty 推进一项雄心勃勃的合作，内容包括评估并对模型进行红队测试（red-teaming）、开展对齐评估、测试模型防护措施，以及在双方组织内建设能力。
我们是自愿嵌入评估者的，并且我们认为每一家前沿 AI 公司都应当这样做。
脚注#
- 由于这些评估者（如同银行检查员）也可能与其他公司合作，我们对无意泄露的可能性保持谨慎。关于架构的信息具有较高的无意泄露风险，而它与风险评估的相关性通常较低。当它高度相关时，我们一般会设法分享，不过这需要明确的内部批准。
- 于 10 月 16 日更新，以澄清 METR 当前与 Anthropic 的项目条款。
- 于 10 月 15 日更新，以澄清 SecureBio 当前与 Anthropic 的项目条款。