人在回路意味着确保人不在回路之外

📌 One-Sentence Summary

一个确认对话框并不能让人承担责任；谁设定了智能体的行动范围，谁就要为它在该范围内的行为负责，因此设计师必须写下授权书、执行最小权限，并保留独立记录，而不是数点击次数。

📝 Summary

文章认为，标准的「人在回路」答案——一个确认对话框——是失败的，因为它把责任推给了对结果信息最少、权力最小的人。作者借鉴 Eric Horvitz 1999 年的混合主动模型、Lisanne Bainbridge 的《自动化的讽刺》、Kathleen Mosier 和 Linda Skitka 的自动化偏见研究、Madeleine Clare Elish 的「道德褶皱区」以及 Uber Tempe 致死事故，提出了一个「触及范围测试」：智能体能触碰什么，人能否把它放回去？谁设定了智能体的触及范围，谁就要为它在该范围内的行为负责。主动性应该随可逆性扩展，而不是随信心扩展；概率性输出不能被包装成确定性的必然。文章梳理了法律压力（GDPR 第 22 条、欧盟 AI 法案第 14 条、加州 CCPA、科罗拉多 ADMT、纽约市第 144 号地方法），以及 Moffatt 诉加拿大航空案和 2025 年 Replit 数据库删除事件等案例，最后以四个实践举措收尾：审计审批、把规则写成权限、运行触及范围测试、保留独立记录。

💡 Main Points

确认对话框转移了责任，而不是创造了责任。

审批记录的是有人在场，而不是他们读了所批准的内容。自动化偏见研究（Mosier、Skitka）显示，使用决策辅助工具的人在工具出错时准确率为 65%，而没有工具时为 97%；Anthropic 对其编程智能体的研究发现，经验丰富的用户在超过 40% 的会话中运行了完全自动批准，同时打断更多——审批变成了仪式，打断变成了判断。

正确的问题是触及范围，而不是主动性。

主动性是障眼法；伤害人的是智能体能行动多远。触及范围测试问的是智能体能触碰什么，以及人能否撤销它。谁设定了智能体的触及范围，谁就要为它在该范围内的行为负责，任何确认点击都不应把这种责任转移给点击者。

主动性应该随可逆性扩展，而不是随信心扩展。

Horvitz 1999 年的决策论规则——只有在期望值超过什么都不做时才行动——把可逆性留在了隐含之中。起草和发送回复有相同的正确概率，但出错的代价截然不同。准备、起草、标记和暂存的智能体扩展了用户的触及范围；发送、删除、支付或提交的智能体则消耗了用户的权威。

责任默认落在最近的人身上，产生「道德褶皱区」。

Elish 2019 年的概念解释了自动化失败的责任如何被钉在离事件最近的操作员身上。在 2018 年 Uber Tempe 致死事故中，安全驾驶员 Rafaela Vasquez 认罪并被判处三年监督缓刑，而 Uber 没有面临刑事指控——身处回路中，结果主要意味着离撞车最近。

授权必须存在于权限中，而不是对话中。

就像授权书一样，智能体的权限应该被写下来：覆盖什么、持续多久、可随时撤销。Moffatt 诉加拿大航空案判定该航空公司对其聊天机器人的陈述负责，因为公司设定了它的触及范围。2025 年 Replit 事件表明，智能体可以忽略的指令只是一种偏好；最小权限必须由系统在行动时刻强制执行。

法律要求一条退路，但触及范围测试的前半部分仍然是产品决策。

GDPR 第 22 条、欧盟 AI 法案第 14 条、加州 CCPA、科罗拉多 ADMT 和纽约市第 144 号地方法都推动人工审查和否决。然而，智能体能触碰什么仍然由构建者选择，作者列出了永远不应出现在任何授权中的决定：雇佣/解雇、拒绝护理或福利、代表组织签署、提供持牌建议，以及移动超过可召回点的资金。

💬 Key Quotes

谁设定了智能体的触及范围，谁就要为它在该范围内的行为负责，任何确认点击都不应把这种责任转移给点击者。

审批是一种仪式。打断是一种判断，这是好事。

身处回路中，结果主要意味着离撞车最近。

单向门与双向门：主动性应该随可逆性扩展，而不是随信心扩展。

橡皮图章是一个没有人类真正拥有的回路。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： UX Collective

Author： Patrick Neeman

Category： 产品设计

Language： 英文

Read Time： 10 min

Word Count： 2395

Tags：

AI 与智能应用 , 产品管理 , 设计系统 , AI Agent , 测试与质量