让智能体自己找故障：用技能、追踪与评测改进应用

📌 One-Sentence Summary

Ankur Duggal 通过一个表现失常的金融智能体，演示如何把追踪数据、针对性评测和编码智能体技能连成可验证的修复流程。

📝 Summary

Duggal 从一个表面合理、实际缺乏依据的投资回答入手，沿着 supervisor、专业智能体、模型调用和工具调用追踪故障。借助 Arize CLI 与技能，编码智能体拉取 span 和评测结果，发现数字缺乏依据、虚构回答、重复搜索，以及被智能体悄悄绕过的工具失败。国际股票查询案例进一步说明，仅修改国家上下文无法解决底层工具仍按美国股票工作的缺陷。数据集与评测器让修改可以通过实验验证。现场修复在演讲结束时仍未完成，因此不能视为成功案例。问答还讨论实验执行位置、裁判模型选择、评测成本与抽样。讲者建议按应用故障设计评测，并由人审阅智能体提出的改动。

💡 Main Points

追踪让质量抱怨变成可定位的故障

演示逐层查看 supervisor、专业智能体、模型和工具调用，区分表面可信的最终回答与真实决策过程。

评测应针对实际出现的失效模式

数字依据不足、虚构、重复搜索和静默工具失败应分别检查，不能只给一个笼统质量分。

代码修改需要实验验证

国际股票案例表明，若底层工具仍假设美国市场，单改提示或国家上下文并不足够。

人工审阅负责闭环

编码智能体的修改是待验证假设；应用专属评测用于发现未来回归。

💬 Key Quotes

我们已经有一条追踪。

我们确实发现了一个很大的数字依据问题。

📊 Article Meta

AI Screening： 90

Featured： Yes

Source： AI Engineer

Author： AI Engineer

Category： 人工智能

Language： 英文

Read Time： 28 min

Word Count： 6886

Tags：

AI 与智能应用 , 可观测性 , AI Agent , 命令行与终端 , 自主编码

Play Full Video