1990 年代的关键词搜索在智能体工具选择上媲美 8B 嵌入模型

蓝旅人AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-141045 阅读💛 157 收藏
1990 年代的关键词搜索在智能体工具选择上媲美 8B 嵌入模型

📌 One-Sentence Summary

这项实证研究在规模从 1,000 到 3,794 个工具的集合上测试工具检索方法,发现 1990 年代的 BM25 关键词搜索准确率可媲美甚至超过 8B 嵌入模型,速度却快 40 倍;而提供完整工具文档带来的效果提升,大于增大模型规模。

📝 Summary

文章系统评估了 AI 智能体的工具检索方法,在 5 种集合规模(1,000 到 3,794 个工具)下测试 BM25 关键词搜索、BGE-large、e5-large-v2、Qwen3-8B 嵌入模型,以及 BM25+重排序器两阶段流程。主要发现:(1)随着工具集合扩大,所有方法的表现都会下降;从 1,000 个工具增至 3,794 个时,得分大约下降 20%;(2)经过适当分词的 BM25 表现可媲美甚至超过嵌入模型,速度快 40 倍,而且不需要 GPU;(3)提供完整工具文档带来的检索分数提升,大于增大模型规模;(4)重排序器提高了 Recall@10,但由于重新排序时未能妥善排列已检索到的正确工具,nDCG@10 反而下降;(5)在最大规模下,即便是表现最好的配置(使用完整文档的 BM25),也只有 65% 的情况下能检索到全部必需工具。研究使用 ToolRet 的代码类别,包含 200 个问题和 186 个必需工具,并以 Recall@10、nDCG@10 和 Completeness@10 衡量表现。

💡 Main Points

BM25 关键词搜索的准确率媲美 8B 嵌入模型,速度却快 40 倍

在包含 3,794 个工具的完整集合中,BM25 的 nDCG@10 为 0.494,高于 Qwen3-8B 的 0.484;但 BM25 每次查询耗时 0.47ms,而 8B 模型需要 192ms,因此速度快 40 倍,且不需要 GPU。

工具集合从 1,000 个扩大到 3,794 个时,所有检索方法的表现都下降约 20%

各方法的表现都持续下降:BM25 从 0.622 降至 0.494,BGE-large 从 0.611 降至 0.493,Qwen3-8B 从 0.636 降至 0.484,说明规模对智能体选择工具至关重要。

完整工具文档带来的检索效果提升,大于增大模型规模

在完整工具集合上,使用完整文档的 BM25 达到 0.533 的 nDCG@10,高于使用精简描述时的 0.494,提升了 0.039;这一提升超过了 Qwen3-8B 相较 BGE-large 的 0.017 优势。

带重排序器的两阶段检索提高召回率,却损害排序质量

在 1,000 个工具的集合上,BGE+重排序流程将 Recall@10 从 0.742 提高到 0.798,但 nDCG@10 从 0.620 降至 0.615,因为重排序器虽然将正确工具纳入前 10 名,却把它们排得比基础嵌入模型更靠后。

规模扩大后,即便是最好的配置,也有 35% 的情况下无法检索到全部必需工具

在 3,794 个工具的集合中,使用完整文档的 BM25 任务完成率为 65%,这意味着在 35% 的任务中,智能体开始工作前至少会漏掉一个必需工具。

💬 Key Quotes

「BM25 只用 CPU,速度也比 BGE-large 快约 40 倍」

「随着工具集合不断扩大,所有方法的表现都变差,下降幅度也大致相同,约为得分的五分之一」

「1990 年代的普通关键词搜索,在速度快数百倍的同时,表现仍能跟上规模是它 24 倍的嵌入模型」

「工具集合还没停止扩大,提示词的空间就已经不够用了」

「完整文档在每一行的表现都更好,提升约为 0.02 到 0.04。这与 Qwen3-8B 在最小工具集合上相较 BGE-large 带来的提升大致相同」

「在 3,794 个工具的集合中,即使是最好的配置,也只有 65% 的情况下能将任务所需的所有工具都检索到前 10 名」

📊 Article Meta

AI Screening: 88

Source: Towards Data Science

Author: Ankur Tomar

Category: 人工智能

Language: 英文

Read Time: 13 min

Word Count: 3240

Tags:

AI 与智能应用 , AI Agent , RAG / 检索增强 , 提示工程 , 模型评测与基准

#AI 与智能应用# AI Agent# RAG / 检索增强# 提示工程# 模型评测与基准

文章评论(12)

曹浩2 天前

收藏了,以后慢慢研究。

回复
空向阳2 天前

赞同,实践出真知。

回复
武磊2 天前

实话,说的不明不白

回复
松听风2 天前

路过

回复
一个橘子2 天前

这个比较实用,已转发给同事。

回复
星寻梦2 天前

收藏了,以后慢慢研究。

回复
林拾贝2 天前

内容翔实,正好需要,先收藏再看。

回复
蓝归舟2 天前

赞同,实践出真知。

回复
石佳琪2 天前

这篇文章分析得很透彻,收藏了!

回复
崔欣怡2 天前

点赞,必须点赞

回复
南山客2 天前

路过

回复
星寻梦2 天前

看标题就点进来了,内容果然没让人失望。

回复