生产环境中的智能体 AI:为什么你的智能体在工具失效后仍在作答

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 872026-10-26154 阅读💛 257 收藏
生产环境中的智能体 AI:为什么你的智能体在工具失效后仍在作答

📌 One-Sentence Summary

智能体可能在工具失效后继续生成自信的答案而悄然失败,修复方法需要在代码中对错误进行分类,并添加一个守卫,强制智能体在无法完成任务时如实承认。

📝 Summary

本文揭示了智能体 AI 系统中一个微妙但关键的失败模式:当工具失效时(例如 API 返回 401),智能体可能继续自信地给出编造的信息,而运行却报告成功。作者认为,更聪明的模型会让这个问题更糟而非更好,因为它们更擅长凭空写出令人信服的答案。解决方案分为两部分:第一,在代码中(而非提示词中)对错误码进行分类,区分可重试的失败(429、5xx)与应当快速失败的永久性失败(401、403、404)。第二,在每次运行结束时添加一个守卫,检查是否有任何工具调用成功,如果没有,则强制智能体说明无法完成任务,而不是猜测。文章提供了可直接用于生产的 Python 代码,涵盖重试包装器和最终答案守卫,解释了值得追踪的可观测性信号(失败运行占比、工具失败聚集、守卫拒绝次数),并以一份面向生产环境智能体团队的实用周一晨间检查清单收尾。

💡 Main Points

智能体可能在所有工具都已失效后,通过给出自信的答案而悄然失败。

当工具返回 401 之类的错误时,语言模型只是把错误信息当作上下文中的又一段文本,并继续尝试满足用户的请求。运行以成功状态结束,仪表盘一片绿色,尽管答案完全是凭空生成的。这种失败模式与成本超支或缺少业务用例等显性失败恰恰相反,这正是它能在生产环境中长期存活的原因。

并非所有 HTTP 错误都值得重试,而模型无法分辨其中的区别。

超时、连接中断、速率限制(429)和 5xx 错误可能在重试后成功。但 401、403 和 404 每次都会以同样的方式失败,重试只会白白消耗 token。第三类情况(半成功的调用、支付等不可逆操作)根本不应重试,而应交给人工处理。由于这些在模型看来都只是错误字符串,排序必须在模型看到任何内容之前于代码中完成。

修复需要两部分:快速失败的错误分类和最终答案守卫。

重试包装器按 HTTP 状态码对错误进行分类,仅对可重试的错误使用指数退避和抖动进行重试,并在遇到 401 等永久性失败时于首次尝试即抛出 ToolDown 异常。最终答案守卫检查运行期间是否有任何工具调用成功;如果没有任何成功,则用拒绝消息替换智能体的草稿。守卫有意将空列表响应计为成功,因为正确返回零结果的工具并不算失败。

针对这种失败模式的可观测性关注的是智能体行为,而非工具正常运行时间。

标准的正常运行时间指标完全无法捕捉这个问题,因为智能体本身仍然可用。真正重要的信号包括:以零次成功工具调用结束的运行占比、哪些工具和状态码最常失败(401 的聚集意味着凭证过期),以及守卫不得不拒绝运行的次数。拒绝次数是最具可操作性的指标,应首先放到仪表盘上。

更聪明的模型会让这种悄然失败的问题更糟,而非更好。

作者明确反对「升级到能力更强的模型就能解决这个问题」的假设。能力更强的模型只是更擅长从不足的数据中写出令人信服的答案,这反而让悄然失败更难被发现。真正的修复是构建系统层,在工具已经沉默时察觉并强制智能体如实说明。

💬 Key Quotes

对语言模型来说,错误信息只是其上下文中的又一段文本,而如果指令要求回答用户的问题,它总会找到某种方式做到这一点,无论有没有数据。

更聪明的模型只是更擅长写出令人信服的答案,这反而让那个凭空构建的答案更难被察觉。

我给它一句简短的话,告诉它不要猜测。

一句说明智能体无法完成任务的回复,对用户来说远比一段恰好出错的流畅文字有用得多。

📊 Article Meta

AI Screening: 87

Source: Towards Data Science

Author: Benjamin Nweke

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1965

Tags:

AI 与智能应用 , AI 工程 , 可观测性 , AI Agent , 大语言模型 (LLM)

#AI 与智能应用# AI 工程# 可观测性# AI Agent# 大语言模型 (LLM)

文章评论(12)

一叶知秋20 天前

看完了,收获满满,期待更多更新。

回复
曹浩20 天前

写得挺用心的,支持一下。

回复
蓝归舟20 天前

实话,说的不明不白

回复
龙文博20 天前

这个观点很中肯,深有同感。

回复
漾漾其华20 天前

路过

回复
星寻梦20 天前

讲解得很细致,新手也能看懂。

回复
暮拾贝20 天前

讲解得很细致,新手也能看懂。

回复
逐光而行20 天前

这篇文章分析得很透彻,收藏了!

回复
青柠微凉20 天前

路过

回复
墨沐雨20 天前

支持作者,持续关注中。

回复
松听风20 天前

这个比较实用,已转发给同事。

回复
漾漾其华20 天前

点赞,必须点赞

回复