构建智能体容易,证明安全更难:NatWest 的评估与灰度实践

📌 One-Sentence Summary
Jonathan Osborne 介绍 NatWest 如何结合路由、校准评估和受控上线,为面向客户的 AI 智能体建立安全依据。
📝 Summary
NatWest 首席 AI 工程师 Jonathan Osborne 介绍了从脚本助手转向生成式回答与可执行操作的智能体前,需要建立的控制机制。系统先通过事件过滤、确定性规则、分类器和政策校验缩小模型暴露面,再分别评估安全性、任务完成和体验。对 111 段支付对话的人工验证,总通过率为 83%,但顺利路径达 97%,话题切换仅 43%。内部投诉助手还暴露出评委模型打分过高、几乎无法区分好坏案例的问题。他建议跨模型家族评审、治理评委版本、抽样生产追踪并设置 CI 回归门禁。影子部署、按品牌灰度和细粒度回退开关,则把观察真实问题与直接回答客户分开。演讲中的客户助手上线仍是后续计划,投诉系统提供了已运行的评估证据。
💡 Main Points
先缩小暴露面,再强化模型
确定性路由和政策校验只让需要模型的问题进入智能体,同时保证访问决策可复现、可审计。
单个平均分会掩盖危险失效
分别衡量安全、任务和体验,才能识别故障类别;人工复核分组揭示了总体通过率掩盖的话题切换问题。
评委也是需要版本治理的生产依赖
没有区分能力的高均分毫无价值;即使智能体输入输出不变,更换评委也可能改变阈值的含义。
影子模式化解审批与数据的矛盾
先观察真实问题、由脚本系统回答,便能在开放智能体前验证,再逐步放量并随时回退。
💬 Key Quotes
我们首先认真思考,哪些问题确实需要模型来解决。
你无法用一个分数涵盖这一切。
它不是模型上线时跑几次就收起来的 notebook。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: AI Engineer
Author: AI Engineer
Category: 人工智能
Language: 英文
Read Time: 15 min
Word Count: 3688
Tags:
AI 与智能应用 , 可观测性 , AI 安全与对齐 , 模型评测与基准 , 视频
Play Full Video
作者写得真不错,学到了不少。
不错不错,已加入书签。
作者写得真不错,学到了不少。
有没有更详细的教程,期待后续。
讲解得很细致,新手也能看懂。
讲解得很细致,新手也能看懂。
实测过类似工具,作者说的基本属实。
看标题就点进来了,内容果然没让人失望。
实测过类似工具,作者说的基本属实。
实测过类似工具,作者说的基本属实。
思路清晰,干货满满。
这篇文章分析得很透彻,收藏了!