我的智能体在 50 个工具的菜单中明明有正确工具,却选错了

空逐月AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-05690 阅读💛 249 收藏
我的智能体在 50 个工具的菜单中明明有正确工具,却选错了

📌 One-Sentence Summary

文章研究了随着可用工具数量增加,LLM 智能体选择工具的准确率如何下降;结果发现,工具从 5 个增至 50 个时,原始准确率下降了 25 个百分点,但经随机猜测校正后的表现实际上有所提升,而一个通用工具吸收了大多数无关错误。

📝 Summary

这项实证研究考察了 Gemini 模型在不同菜单规模(5 至 50 个工具)下选择工具的准确率。实验使用 20 个固定场景,涵盖 15 个领域;每个场景都有 1 个正确的目标工具和 2-4 个近似干扰工具。结果显示,原始准确率从 80% 降至 55%,但经随机猜测校正后,模型表现从随机猜测的 4 倍提升至 27.5 倍。在工具较少时,错误主要是近似工具之间的混淆;工具达到 50 个时,9 次错误回答中有 8 次调用了无关工具,其中一个通用工具(find_contact)吸收了 14 次无关错误中的 9 次。3 个场景在所有菜单规模下都未能成功,原因是请求措辞存在问题。研究建议采用基于检索的工具筛选,并监控容易吸收错误调用的工具,作为切实可行的解决方案。

💡 Main Points

工具菜单越大,原始选择准确率越低,但经随机猜测校正后的表现有所提升

工具数量从 5 个增加到 50 个时,原始准确率从 80% 降至 55%;但相较于随机猜测,表现从 4 倍提升至 27.5 倍。这表明模型的判断能力并未下降,下降的只是靠运气猜对的概率。

一个通用工具吸收了比例失衡的无关错误

在所有条件下,find_contact 工具占了 14 次无关错误调用中的 9 次。这表明,随着工具集扩大,模型会倾向于选择看似通用合理的操作,而不是具体正确的工具,从而形成一个可监控、可修正的错误汇集点。

工具较少时,错误主要是近似工具之间的混淆;工具较多时,无关工具调用占主导

有 5 个工具时,4 次错误中有 3 次是合理的混淆(短信与 WhatsApp);有 50 个工具时,9 次错误中有 8 次调用了与请求毫无关系的工具。这揭示了菜单规模扩大后,错误模式发生了根本性转变。

针对大型工具集,建议采用基于检索的工具筛选

Cursor 等产品将工具数量限制在 40 个以内,而 Claude Code 在工具数超过 50 个后表现会下降。这表明业界已开始采用基于检索的筛选方式:针对每个请求只展示相关工具,而不是完整菜单。

💬 Key Quotes

工具达到 50 个时,原始准确率下降了 25 个百分点;但经过随机猜测校正后,情况就大不相同了。

即使原始准确率不断下降,每次菜单扩容后,模型相对于纯随机猜测的准确率都会提升。

在所有条件下,find_contact 这个工具吸收了 14 次无关错误调用中的 9 次,其中包括上面的确切案例:正确工具明明就在菜单中,而且名称也写得很清楚。

业界普遍采用的解决方案,也得到了本实验数据的支持,那就是基于检索的工具搜索:针对每个请求向模型展示一份精简且相关的候选列表,而不是每次都展示完整菜单。

📊 Article Meta

AI Screening: 88

Source: DEV Community: machinelearning

Author: Priyansh Singhal

Category: 人工智能

Language: 英文

Read Time: 7 min

Word Count: 1672

Tags:

AI 与智能应用 , AI 工程 , 机器学习 , AI 安全与对齐 , 上下文工程

#AI 与智能应用# AI 工程# 机器学习# AI 安全与对齐# 上下文工程

文章评论(12)

逐光而行10 天前

看完了,收获满满,期待更多更新。

回复
逐光而行10 天前

写得挺用心的,支持一下。

回复
陈皮话梅糖10 天前

整理得太全面了,省了我不少时间。

回复
松听风10 天前

这个比较实用,已转发给同事。

回复
墨向阳10 天前

这个观点很中肯,深有同感。

回复
雪知秋10 天前

这个观点很中肯,深有同感。

回复
风拾光10 天前

楼主辛苦了,内容很有参考价值。

回复
星知秋10 天前

收藏了,以后慢慢研究。

回复
星知秋10 天前

整理得太全面了,省了我不少时间。

回复
蓝归舟10 天前

内容翔实,正好需要,先收藏再看。

回复
风拾光10 天前

实话,说的不明不白

回复
曹浩10 天前

不错不错,已加入书签。

回复