别盲信 AI 智能体:像科学家一样测试它们|Omni Analytics 的 Stephanie Jarmak

📌 One-Sentence Summary
Stephanie Jarmak 结合一线实践,说明如何通过真实任务、受控实验、可信追踪记录与强制执行的质量门禁,让智能体评估真正服务工程决策。
📝 Summary
Stephanie Jarmak 结合在 Sourcegraph 和 Omni Analytics 建设智能体评估体系的经历,强调每次测量都应回答一个明确的产品或工程问题。一次代码搜索实验中,修改提示词让运行成本降低了 28%,却仍未让智能体使用指定工具。另一案例中,更换运行框架就改变了模型的比较结果,说明公共基准适合帮助筛选候选方案,却不足以证明整套配置在具体组织中的表现。
她建议按真实工作划分任务类型,通过重复运行观察非确定性,并关注不同配置变更之间的交互影响。保留完整追踪记录,逐步检查工具是否可用、是否被调用、是否返回有效信息,以及这些信息是否改善了最终任务结果。搜索返回 295 个文件、实际只需 6 个的案例说明:即使召回率满分,也可能偏离重视精确率的业务目标。
评估还必须连接实际运行中的控制措施。智能体发现异常,并不等于系统会停止,质量门禁和升级人工处理的边界需要由代码执行。讲者引用的场景中,1% 的误报会带来 10,000 次人工复核,因此专家处理能力也必须纳入设计。独立记录比对的案例则提醒团队审视智能体自身追踪记录是否可信。最后,应通过生产数据和影子观测检验离线测试能否反映真实工作负载。演讲结合了一线工程经验和第三方案例,但没有提供可复现的实验数据,字幕中的部分基准与模型名称也存在歧义。
💡 Main Points
先明确决策问题,再选择评估指标
成本降低 28%,并没有解决原本的工具调用问题。只看搜索召回率,也无法体现返回 295 个文件而实际只需 6 个的代价;测量必须对准真正的目标。
用有代表性的任务评估完整配置
公共基准可以帮助缩小选择范围,但运行框架一变,模型比较结果就可能逆转。测试应覆盖不同任务类型、重复运行及配置交互,并贴近实际环境。
从工具是否可用,一直追查到最终结果
保留上下文、调用、返回信息、失败尝试与未调用行为的证据。如果智能体没有利用工具结果改善最终任务,仅提升工具调用表现仍然不够。
强制执行停止条件,并估算人工复核负载
智能体发出警告,与代码执行质量门禁是两回事。误报可能淹没领域专家,因此复核负载、错误后果和明确的人工接手边界需要一起设计。
检查追踪记录可信度,并在生产环境验证离线结论
独立记录的案例说明,依赖智能体自身历史可能漏掉问题。结合真实使用分类,以及生产或影子观测,才能检验测试中的任务和改进是否反映实际价值。
💬 Key Quotes
你想要什么,完全取决于业务需求。
你还需要平衡人工复核的负载。
明确自己愿意接受多大程度的风险。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: AI Engineer
Author: AI Engineer
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1888
Tags:
AI 与智能应用 , 可观测性 , AI Agent , 测试与质量 , Harness工程
Play Full Video
支持作者,持续关注中。
点赞,必须点赞
看标题就点进来了,内容果然没让人失望。
收藏了,以后慢慢研究。
实话,说的不明不白
讲解得很细致,新手也能看懂。
不错不错,已加入书签。
实测过类似工具,作者说的基本属实。
写得挺用心的,支持一下。
支持作者,持续关注中。
有没有更详细的教程,期待后续。
实测过类似工具,作者说的基本属实。