给 AI 公司(或在 AI 公司内部)添堵,如今真成了一份正经工作 | Rob Wiblin
📌 One-Sentence Summary
本文探讨调查行动、内部举报和专家分析对于追究 AI 公司安全风险责任的重要性,并聚焦 Anthropic、OpenAI 和 Google DeepMind 近期引发的争议。
📝 Summary
Rob Wiblin 认为,独立监督对于防范灾难性 AI 风险至关重要,因为政府行动速度太慢。他分析了近期发生的三起事件:Anthropic 泄露的 AI 监管法案草案,该草案将限制州层面的监督,并使叫停危险模型训练变得困难;OpenAI 解雇了 3 名安全研究人员,原因是怀疑他们泄露了有关其「循环 Transformer」模型的信息,而这种模型会降低 AI 的可监控性;以及 Google DeepMind 的终身不得贬损公司条款,令员工无法发声。Wiblin 强调,如果没有有力的外部压力,AI 公司可能会把速度置于安全之上,并呼吁建立更强有力的问责机制。
💡 Main Points
外部问责机制对 AI 安全至关重要
公司内部文化和政府监管都不足以应对问题;当 AI 公司鲁莽行事时,需要调查记者、知情专家和公众倡议者施加压力,尤其是考虑到 AI 发展的速度很快。
Anthropic 提出的 AI 监管法案将严重限制监督
泄露的法案草案赋予商务部长和华盛顿特区的一家法院独占权力,可叫停模型训练;法案还要求证明灭绝风险迫在眉睫,并排除州法律的适用,实际上剥夺了各州应对本地 AI 威胁的能力。
OpenAI 解雇安全研究人员,引发对内部异议空间的担忧
3 名主张确保思维链可监控性的研究人员同时遭到解雇,似乎源于一场草率的泄密调查。这让人怀疑 OpenAI 可能会压制安全方面的担忧,并损害其获取坦诚反馈的能力。
Google DeepMind 的终身禁言条款阻止员工发声
据报道,英国的雇佣合同禁止员工批评 Google,且限制终身有效。这会造成寒蝉效应,削弱对可能有害的 AI 实践进行透明监督和问责的能力。
💬 Key Quotes
我们需要更多人,在 AI 公司做了坏事时追究它们的责任。
随着事态发展越来越快,追究 AI 公司行为责任的能力也变得越来越重要。
Anthropic 把自己塑造成好人阵营:认真看待 AI 的力量、谨慎开发 AI,并积极希望通过监管来降低风险。
循环 Transformer 会增加模型在把自己的思考写入思维链之前能够执行的计算量。这会让我们更难察觉它是否在做我们不希望它做的事。
📊 Article Meta
AI Screening: 88
Source: 80,000 Hours
Author: Robert Wiblin
Category: 人工智能
Language: 英文
Read Time: 26 min
Word Count: 6313
Tags:
AI 与智能应用 , AI 安全与对齐 , Google DeepMind , OpenAI , Anthropic
看完了,收获满满,期待更多更新。
实话,说的不明不白
讲解得很细致,新手也能看懂。
讲解得很细致,新手也能看懂。
思路清晰,干货满满。
这个观点很中肯,深有同感。
实话,说的不明不白
这个观点很中肯,深有同感。
刚好最近在找这方面的资料,太及时了。
看完了,收获满满,期待更多更新。
点赞,必须点赞
很有价值的分享,感谢整理。