Anthropic 关于独立评估者的最新进展

📌 One-Sentence Summary

Anthropic 已向 METR 员工授予类似内部员工的访问权限，使其能够独立评估前沿模型风险，并概述了未来评估者合作的三级框架。

📝 Summary

Anthropic 宣布已开始向 METR（一家评估前沿 AI 模型的非营利组织）的一个团队授予类似员工的访问权限——包括公司硬件、办公空间和内部工具，大致与其自身风险评估团队相当——并享有发布其发现的自由，仅受少数狭窄的删减类别限制。文章解释了为何需要独立评估者：模型日益强大，虽然 Anthropic 希望接受公众问责，但无法分享所有与安全相关的信息，因为部分信息具有商业敏感性或可能助长恶意行为者。文章列出了评估者的四项要求——专业知识、独立性、充分访问权限和发布自由——并将其类比为在大型银行内部工作的银行检查员。Anthropic 还描述了一个三级访问框架：第一级允许范围狭窄的调查，发布需经批准；第二级允许无需批准的发布，并享有更广泛的访问权限；第三级即 METR 的安排。SecureBio 目前处于第一级，而 Accenture 和 Faculty 正在努力达成更广泛的合作。Anthropic 表示其是自愿嵌入评估者，并认为每一家前沿 AI 公司都应这样做。

💡 Main Points

Anthropic 已向 METR 的一个小团队授予类似内部员工的访问权限，包括硬件、办公空间和与其自身风险评估团队相当的工具。

六名 METR 员工已完成入职，可以访问少数定义类别之外的信息，例如客户数据、受律师-客户保密特权保护的信息以及模型架构。Anthropic 员工被鼓励像对待从事对齐风险工作的同事一样与他们分享信息。

METR 可以在没有 Anthropic 否决权的情况下发布其风险评估，但 Anthropic 可以要求对狭窄的、预先定义的信息类别进行删减。

METR 可以自由地公开描述删减情况，并说明其是否认为删减是合理的，只要不透露被删减的信息。这项发布权是该安排可信度的核心。

Anthropic 定义了有效独立评估的四项要求：专业知识、独立性、充分访问权限和发布自由。

专业知识包括理解评估可能如何失败，例如对齐伪装。独立性意味着评估者不应持有公司股权，也不应在财务或运营上依赖公司。访问权限必须超越最新模型，延伸到训练方法和保障措施。

Anthropic 正在开发一个三级访问框架，以随时间推移扩展评估者合作关系。

第一级涉及范围狭窄的调查，发布需经 Anthropic 批准；第二级允许无需批准的发布和更广泛的访问权限；第三级是 METR 式的安排，具有类似员工的访问权限。SecureBio 处于第一级，而 Accenture 和 Faculty 正在努力达成更广泛的合作。

Anthropic 将嵌入式评估定位为迈向稳健安全监督的自愿步骤，并呼吁所有前沿 AI 公司采纳。

文章将这种方法比作银行监管，即驻场检查员在最大的银行内部工作，因为内部人士更了解自身的风险状况。Anthropic 表示正在积极了解何种合作方式有效，并将分享最新进展。

💬 Key Quotes

我们是自愿嵌入评估者的，我们认为每一家前沿 AI 公司都应该这样做。

我们的目标是缩小评估者对一个前沿 AI 公司系统的理解与公司自身理解之间的差距。

Anthropic 不能否决发布，但如果信息属于上述狭窄的、预先定义的类别，我们可以要求他们进行删减。

尽管这个类比并不完全精确，但银行监管也遵循类似的逻辑。

📊 Article Meta

AI Screening： 87

Source： Anthropic News

Author： Anthropic

Category： 人工智能

Language： 英文

Read Time： 4 min

Word Count： 967

Tags：

AI 与智能应用 , AI 安全与对齐 , 产业动态 , Anthropic , AI 评估与基准