没有现成基准,如何测试 AI 智能体?Air Canada 的 Nathanael Weill 分享实践

邱宇行业资讯📡 BestBlogs·全站精选⭐ 902026-10-23295 阅读💛 34 收藏
没有现成基准,如何测试 AI 智能体?Air Canada 的 Nathanael Weill 分享实践

📌 One-Sentence Summary

Nathanael Weill 展示了如何从答案出发生成测试,在缺乏基准、专家时间有限的情况下,加快特定领域智能体的评估。

📝 Summary

Nathanael Weill 介绍了企业 AI 项目反复遇到的难题:工程师能够构建智能体,但任务没有公开基准,领域专家也忙得无暇为每次迭代打分。在此前的电信 RAG 项目中,每周由专家并排比较多个系统的评审方式拖慢了实验,复杂的流程改动又不断破坏已有功能。团队改为从已知文档出发,围绕文档生成问题,再检查检索是否返回预期来源,将评估频率从每周一次提高到每天数十次。

在 Air Canada,同样的答案先行原则被用于供应商合同审查智能体的评估。该智能体依次识别条款、检索支持材料、起草修订意见,并判断是否保留修订。Weill 讨论了五种测试构造方法:比较历史合同修订版本、围绕已知违规情况生成文档、删除必需条款、作出不应影响结果的改动,以及将专家模板展开为预期结果已知的多种组合。团队无法取得历史修订版本;基于规则的生成方法产出了 275 条测试;删除条款的测试暴露出明显的检测盲区。基于模板的检查,则把讲者所述长达四周的反馈周期,缩短为运行脚本后五分钟返回结果。

对于能够用代码表达预期结果的任务,讲者倾向于采用确定性检查,因为在该项目中,校准 LLM 评判器带来了大量噪声和工程工作。专家反馈用于改进测试生成器,而不只是触发针对智能体的局部修补。Weill 也明确限定了结论的适用范围:合成测试用于支持开发,并非适用于所有任务,更不能单凭测试结果判定产品已经具备发布条件。所报告的改进来自实践者观察,未提供公开数据集、具体准确率曲线或受控对照实验。

💡 Main Points

从已知答案出发,围绕答案生成任务

对于 RAG,已知来源页面可以作为生成问题的标准依据。随后可自动检查是否检索到预期文档,无须让专家逐条评判答案,就能缩短迭代周期。

植入多种已知情况,评估合同审查智能体

违规情况、被删除的条款、不应影响结果的变换和模板组合,分别检验不同的失败模式。历史合同的修改前后版本也有帮助,但团队没有保留原始版本,因此无法采用这条路线。

负例测试与不变性测试能揭示看似合理的答案掩盖的问题

删除条款后,团队发现智能体漏掉了许多缺失项。更改供应商名称、地址或条款顺序,不应改变预期的问题标记;合规合同则作为对照,用于检查是否出现过度标记。

当任务的预期结果可以核验时,采用确定性检查

代码可以比较已知结果,避免团队在使用 LLM 评判器时遇到的额外噪声和提示词校准工作。这一建议取决于任务本身,并非宣称基于模型的评判在任何情况下都不可用。

将专家反馈转化为更有力的评估闭环

专家观察应当用于改进测试生成、提示词和变异策略。智能体可能需要重新设计,才能被有效评估;仅在生成测试中取得成功,仍不足以支撑生产发布决策。

💬 Key Quotes

我在 2024 年得到的经验是,如果你无法评估智能体,就无法让它变得更好。

因此,我们转向了一种能够真正评估的方案。

我们利用这些反馈生成更好的测试。

它不是决定这个方案能否上线的依据。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: AI Engineer

Author: AI Engineer

Category: 人工智能

Language: 英文

Read Time: 14 min

Word Count: 3358

Tags:

AI 与智能应用 , RAG / 检索增强 , 测试与质量 , AI Agent , 企业级 AI

Play Full Video

#AI 与智能应用# RAG / 检索增强# 测试与质量# AI Agent# 企业级 AI

文章评论(12)

郭超23 天前

有没有更详细的教程,期待后续。

回复
雪影24 天前

看标题就点进来了,内容果然没让人失望。

回复
风倚栏23 天前

看完了,收获满满,期待更多更新。

回复
星知秋23 天前

楼主辛苦了,内容很有参考价值。

回复
空向阳23 天前

看标题就点进来了,内容果然没让人失望。

回复
青柠微凉23 天前

有没有更详细的教程,期待后续。

回复
山问津23 天前

刚好最近在找这方面的资料,太及时了。

回复
崔欣怡23 天前

讲解得很细致,新手也能看懂。

回复
竹听风23 天前

实话,说的不明不白

回复
墨沐雨23 天前

不错不错,已加入书签。

回复
空向阳23 天前

这个比较实用,已转发给同事。

回复
蓝光23 天前

刚好最近在找这方面的资料,太及时了。

回复