我的智能体在 50 个工具的菜单中明明有正确工具,却选错了

📌 One-Sentence Summary
文章研究了随着可用工具数量增加,LLM 智能体选择工具的准确率如何下降;结果发现,工具从 5 个增至 50 个时,原始准确率下降了 25 个百分点,但经随机猜测校正后的表现实际上有所提升,而一个通用工具吸收了大多数无关错误。
📝 Summary
这项实证研究考察了 Gemini 模型在不同菜单规模(5 至 50 个工具)下选择工具的准确率。实验使用 20 个固定场景,涵盖 15 个领域;每个场景都有 1 个正确的目标工具和 2-4 个近似干扰工具。结果显示,原始准确率从 80% 降至 55%,但经随机猜测校正后,模型表现从随机猜测的 4 倍提升至 27.5 倍。在工具较少时,错误主要是近似工具之间的混淆;工具达到 50 个时,9 次错误回答中有 8 次调用了无关工具,其中一个通用工具(find_contact)吸收了 14 次无关错误中的 9 次。3 个场景在所有菜单规模下都未能成功,原因是请求措辞存在问题。研究建议采用基于检索的工具筛选,并监控容易吸收错误调用的工具,作为切实可行的解决方案。
💡 Main Points
工具菜单越大,原始选择准确率越低,但经随机猜测校正后的表现有所提升
工具数量从 5 个增加到 50 个时,原始准确率从 80% 降至 55%;但相较于随机猜测,表现从 4 倍提升至 27.5 倍。这表明模型的判断能力并未下降,下降的只是靠运气猜对的概率。
一个通用工具吸收了比例失衡的无关错误
在所有条件下,find_contact 工具占了 14 次无关错误调用中的 9 次。这表明,随着工具集扩大,模型会倾向于选择看似通用合理的操作,而不是具体正确的工具,从而形成一个可监控、可修正的错误汇集点。
工具较少时,错误主要是近似工具之间的混淆;工具较多时,无关工具调用占主导
有 5 个工具时,4 次错误中有 3 次是合理的混淆(短信与 WhatsApp);有 50 个工具时,9 次错误中有 8 次调用了与请求毫无关系的工具。这揭示了菜单规模扩大后,错误模式发生了根本性转变。
针对大型工具集,建议采用基于检索的工具筛选
Cursor 等产品将工具数量限制在 40 个以内,而 Claude Code 在工具数超过 50 个后表现会下降。这表明业界已开始采用基于检索的筛选方式:针对每个请求只展示相关工具,而不是完整菜单。
💬 Key Quotes
工具达到 50 个时,原始准确率下降了 25 个百分点;但经过随机猜测校正后,情况就大不相同了。
即使原始准确率不断下降,每次菜单扩容后,模型相对于纯随机猜测的准确率都会提升。
在所有条件下,find_contact 这个工具吸收了 14 次无关错误调用中的 9 次,其中包括上面的确切案例:正确工具明明就在菜单中,而且名称也写得很清楚。
业界普遍采用的解决方案,也得到了本实验数据的支持,那就是基于检索的工具搜索:针对每个请求向模型展示一份精简且相关的候选列表,而不是每次都展示完整菜单。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Priyansh Singhal
Category: 人工智能
Language: 英文
Read Time: 7 min
Word Count: 1672
Tags:
AI 与智能应用 , AI 工程 , 机器学习 , AI 安全与对齐 , 上下文工程
看完了,收获满满,期待更多更新。
写得挺用心的,支持一下。
整理得太全面了,省了我不少时间。
这个比较实用,已转发给同事。
这个观点很中肯,深有同感。
这个观点很中肯,深有同感。
楼主辛苦了,内容很有参考价值。
收藏了,以后慢慢研究。
整理得太全面了,省了我不少时间。
内容翔实,正好需要,先收藏再看。
实话,说的不明不白
不错不错,已加入书签。