1990 年代的关键词搜索在智能体工具选择上媲美 8B 嵌入模型

📌 One-Sentence Summary
这项实证研究在规模从 1,000 到 3,794 个工具的集合上测试工具检索方法,发现 1990 年代的 BM25 关键词搜索准确率可媲美甚至超过 8B 嵌入模型,速度却快 40 倍;而提供完整工具文档带来的效果提升,大于增大模型规模。
📝 Summary
文章系统评估了 AI 智能体的工具检索方法,在 5 种集合规模(1,000 到 3,794 个工具)下测试 BM25 关键词搜索、BGE-large、e5-large-v2、Qwen3-8B 嵌入模型,以及 BM25+重排序器两阶段流程。主要发现:(1)随着工具集合扩大,所有方法的表现都会下降;从 1,000 个工具增至 3,794 个时,得分大约下降 20%;(2)经过适当分词的 BM25 表现可媲美甚至超过嵌入模型,速度快 40 倍,而且不需要 GPU;(3)提供完整工具文档带来的检索分数提升,大于增大模型规模;(4)重排序器提高了 Recall@10,但由于重新排序时未能妥善排列已检索到的正确工具,nDCG@10 反而下降;(5)在最大规模下,即便是表现最好的配置(使用完整文档的 BM25),也只有 65% 的情况下能检索到全部必需工具。研究使用 ToolRet 的代码类别,包含 200 个问题和 186 个必需工具,并以 Recall@10、nDCG@10 和 Completeness@10 衡量表现。
💡 Main Points
BM25 关键词搜索的准确率媲美 8B 嵌入模型,速度却快 40 倍
在包含 3,794 个工具的完整集合中,BM25 的 nDCG@10 为 0.494,高于 Qwen3-8B 的 0.484;但 BM25 每次查询耗时 0.47ms,而 8B 模型需要 192ms,因此速度快 40 倍,且不需要 GPU。
工具集合从 1,000 个扩大到 3,794 个时,所有检索方法的表现都下降约 20%
各方法的表现都持续下降:BM25 从 0.622 降至 0.494,BGE-large 从 0.611 降至 0.493,Qwen3-8B 从 0.636 降至 0.484,说明规模对智能体选择工具至关重要。
完整工具文档带来的检索效果提升,大于增大模型规模
在完整工具集合上,使用完整文档的 BM25 达到 0.533 的 nDCG@10,高于使用精简描述时的 0.494,提升了 0.039;这一提升超过了 Qwen3-8B 相较 BGE-large 的 0.017 优势。
带重排序器的两阶段检索提高召回率,却损害排序质量
在 1,000 个工具的集合上,BGE+重排序流程将 Recall@10 从 0.742 提高到 0.798,但 nDCG@10 从 0.620 降至 0.615,因为重排序器虽然将正确工具纳入前 10 名,却把它们排得比基础嵌入模型更靠后。
规模扩大后,即便是最好的配置,也有 35% 的情况下无法检索到全部必需工具
在 3,794 个工具的集合中,使用完整文档的 BM25 任务完成率为 65%,这意味着在 35% 的任务中,智能体开始工作前至少会漏掉一个必需工具。
💬 Key Quotes
「BM25 只用 CPU,速度也比 BGE-large 快约 40 倍」
「随着工具集合不断扩大,所有方法的表现都变差,下降幅度也大致相同,约为得分的五分之一」
「1990 年代的普通关键词搜索,在速度快数百倍的同时,表现仍能跟上规模是它 24 倍的嵌入模型」
「工具集合还没停止扩大,提示词的空间就已经不够用了」
「完整文档在每一行的表现都更好,提升约为 0.02 到 0.04。这与 Qwen3-8B 在最小工具集合上相较 BGE-large 带来的提升大致相同」
「在 3,794 个工具的集合中,即使是最好的配置,也只有 65% 的情况下能将任务所需的所有工具都检索到前 10 名」
📊 Article Meta
AI Screening: 88
Source: Towards Data Science
Author: Ankur Tomar
Category: 人工智能
Language: 英文
Read Time: 13 min
Word Count: 3240
Tags:
AI 与智能应用 , AI Agent , RAG / 检索增强 , 提示工程 , 模型评测与基准
收藏了,以后慢慢研究。
赞同,实践出真知。
实话,说的不明不白
路过
这个比较实用,已转发给同事。
收藏了,以后慢慢研究。
内容翔实,正好需要,先收藏再看。
赞同,实践出真知。
这篇文章分析得很透彻,收藏了!
点赞,必须点赞
路过
看标题就点进来了,内容果然没让人失望。