没有现成基准,如何测试 AI 智能体?Air Canada 的 Nathanael Weill 分享实践

📌 One-Sentence Summary
Nathanael Weill 展示了如何从答案出发生成测试,在缺乏基准、专家时间有限的情况下,加快特定领域智能体的评估。
📝 Summary
Nathanael Weill 介绍了企业 AI 项目反复遇到的难题:工程师能够构建智能体,但任务没有公开基准,领域专家也忙得无暇为每次迭代打分。在此前的电信 RAG 项目中,每周由专家并排比较多个系统的评审方式拖慢了实验,复杂的流程改动又不断破坏已有功能。团队改为从已知文档出发,围绕文档生成问题,再检查检索是否返回预期来源,将评估频率从每周一次提高到每天数十次。
在 Air Canada,同样的答案先行原则被用于供应商合同审查智能体的评估。该智能体依次识别条款、检索支持材料、起草修订意见,并判断是否保留修订。Weill 讨论了五种测试构造方法:比较历史合同修订版本、围绕已知违规情况生成文档、删除必需条款、作出不应影响结果的改动,以及将专家模板展开为预期结果已知的多种组合。团队无法取得历史修订版本;基于规则的生成方法产出了 275 条测试;删除条款的测试暴露出明显的检测盲区。基于模板的检查,则把讲者所述长达四周的反馈周期,缩短为运行脚本后五分钟返回结果。
对于能够用代码表达预期结果的任务,讲者倾向于采用确定性检查,因为在该项目中,校准 LLM 评判器带来了大量噪声和工程工作。专家反馈用于改进测试生成器,而不只是触发针对智能体的局部修补。Weill 也明确限定了结论的适用范围:合成测试用于支持开发,并非适用于所有任务,更不能单凭测试结果判定产品已经具备发布条件。所报告的改进来自实践者观察,未提供公开数据集、具体准确率曲线或受控对照实验。
💡 Main Points
从已知答案出发,围绕答案生成任务
对于 RAG,已知来源页面可以作为生成问题的标准依据。随后可自动检查是否检索到预期文档,无须让专家逐条评判答案,就能缩短迭代周期。
植入多种已知情况,评估合同审查智能体
违规情况、被删除的条款、不应影响结果的变换和模板组合,分别检验不同的失败模式。历史合同的修改前后版本也有帮助,但团队没有保留原始版本,因此无法采用这条路线。
负例测试与不变性测试能揭示看似合理的答案掩盖的问题
删除条款后,团队发现智能体漏掉了许多缺失项。更改供应商名称、地址或条款顺序,不应改变预期的问题标记;合规合同则作为对照,用于检查是否出现过度标记。
当任务的预期结果可以核验时,采用确定性检查
代码可以比较已知结果,避免团队在使用 LLM 评判器时遇到的额外噪声和提示词校准工作。这一建议取决于任务本身,并非宣称基于模型的评判在任何情况下都不可用。
将专家反馈转化为更有力的评估闭环
专家观察应当用于改进测试生成、提示词和变异策略。智能体可能需要重新设计,才能被有效评估;仅在生成测试中取得成功,仍不足以支撑生产发布决策。
💬 Key Quotes
我在 2024 年得到的经验是,如果你无法评估智能体,就无法让它变得更好。
因此,我们转向了一种能够真正评估的方案。
我们利用这些反馈生成更好的测试。
它不是决定这个方案能否上线的依据。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: AI Engineer
Author: AI Engineer
Category: 人工智能
Language: 英文
Read Time: 14 min
Word Count: 3358
Tags:
AI 与智能应用 , RAG / 检索增强 , 测试与质量 , AI Agent , 企业级 AI
Play Full Video
有没有更详细的教程,期待后续。
看标题就点进来了,内容果然没让人失望。
看完了,收获满满,期待更多更新。
楼主辛苦了,内容很有参考价值。
看标题就点进来了,内容果然没让人失望。
有没有更详细的教程,期待后续。
刚好最近在找这方面的资料,太及时了。
讲解得很细致,新手也能看懂。
实话,说的不明不白
不错不错,已加入书签。
这个比较实用,已转发给同事。
刚好最近在找这方面的资料,太及时了。