给 AI 公司(或在 AI 公司内部)添堵,如今真成了一份正经工作 | Rob Wiblin

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-04851 阅读💛 20 收藏
给 AI 公司(或在 AI 公司内部)添堵,如今真成了一份正经工作 | Rob Wiblin

📌 One-Sentence Summary

本文探讨调查行动、内部举报和专家分析对于追究 AI 公司安全风险责任的重要性,并聚焦 Anthropic、OpenAI 和 Google DeepMind 近期引发的争议。

📝 Summary

Rob Wiblin 认为,独立监督对于防范灾难性 AI 风险至关重要,因为政府行动速度太慢。他分析了近期发生的三起事件:Anthropic 泄露的 AI 监管法案草案,该草案将限制州层面的监督,并使叫停危险模型训练变得困难;OpenAI 解雇了 3 名安全研究人员,原因是怀疑他们泄露了有关其「循环 Transformer」模型的信息,而这种模型会降低 AI 的可监控性;以及 Google DeepMind 的终身不得贬损公司条款,令员工无法发声。Wiblin 强调,如果没有有力的外部压力,AI 公司可能会把速度置于安全之上,并呼吁建立更强有力的问责机制。

💡 Main Points

外部问责机制对 AI 安全至关重要

公司内部文化和政府监管都不足以应对问题;当 AI 公司鲁莽行事时,需要调查记者、知情专家和公众倡议者施加压力,尤其是考虑到 AI 发展的速度很快。

Anthropic 提出的 AI 监管法案将严重限制监督

泄露的法案草案赋予商务部长和华盛顿特区的一家法院独占权力,可叫停模型训练;法案还要求证明灭绝风险迫在眉睫,并排除州法律的适用,实际上剥夺了各州应对本地 AI 威胁的能力。

OpenAI 解雇安全研究人员,引发对内部异议空间的担忧

3 名主张确保思维链可监控性的研究人员同时遭到解雇,似乎源于一场草率的泄密调查。这让人怀疑 OpenAI 可能会压制安全方面的担忧,并损害其获取坦诚反馈的能力。

Google DeepMind 的终身禁言条款阻止员工发声

据报道,英国的雇佣合同禁止员工批评 Google,且限制终身有效。这会造成寒蝉效应,削弱对可能有害的 AI 实践进行透明监督和问责的能力。

💬 Key Quotes

我们需要更多人,在 AI 公司做了坏事时追究它们的责任。

随着事态发展越来越快,追究 AI 公司行为责任的能力也变得越来越重要。

Anthropic 把自己塑造成好人阵营:认真看待 AI 的力量、谨慎开发 AI,并积极希望通过监管来降低风险。

循环 Transformer 会增加模型在把自己的思考写入思维链之前能够执行的计算量。这会让我们更难察觉它是否在做我们不希望它做的事。

📊 Article Meta

AI Screening: 88

Source: 80,000 Hours

Author: Robert Wiblin

Category: 人工智能

Language: 英文

Read Time: 26 min

Word Count: 6313

Tags:

AI 与智能应用 , AI 安全与对齐 , Google DeepMind , OpenAI , Anthropic

#AI 与智能应用# AI 安全与对齐# Google DeepMind# OpenAI# Anthropic

文章评论(12)

蒋力11 天前

看完了,收获满满,期待更多更新。

回复
石佳琪11 天前

实话,说的不明不白

回复
一叶知秋11 天前

讲解得很细致,新手也能看懂。

回复
墨沐雨11 天前

讲解得很细致,新手也能看懂。

回复
蓝临风11 天前

思路清晰,干货满满。

回复
北岛渔夫11 天前

这个观点很中肯,深有同感。

回复
星知秋11 天前

实话,说的不明不白

回复
崔欣怡11 天前

这个观点很中肯,深有同感。

回复
墨沐雨11 天前

刚好最近在找这方面的资料,太及时了。

回复
蓝临风11 天前

看完了,收获满满,期待更多更新。

回复
郭超11 天前

点赞,必须点赞

回复
风拾光11 天前

很有价值的分享,感谢整理。

回复