一项在 2,000 篇论文上通过的 RAG 搜索测试,在 2.68M 规模下每 100 个问题多漏掉 40 个答案

📌 One-Sentence Summary
这项研究测试了不同规模语料库中的 RAG 检索表现,语料库范围从 2,000 篇 arXiv 论文到 268 万个 Wikipedia 段落;结果发现,BM25 的召回率在规模扩大后下降了 40 个百分点,而来自同一页面的干扰项会显著降低表现。
📝 Summary
文章通过两项实证测试评估检索增强生成(RAG)的搜索质量。第一项测试在包含 100 至 1,801 篇 arXiv 论文的语料库中,针对 298 个问题评估 BM25 和基于嵌入的检索,发现性能仅下降 1-3.4 个百分点,未达到作者设定的显著性阈值。第二项测试使用 BM25,将规模扩大到 268 万个 Wikipedia 段落,发现成功率大幅下降:从 10,000 个段落时的 86.8% 降至全量语料时的 46.6%,相差 40 个百分点。第三项测试单独考察来自同一页面的干扰项,结果显示,将 20 个段落替换为答案所在 Wikipedia 页面的内容,会使成功率降低 8.3 个百分点。这些发现质疑了由作者自行编写的 RAG 评测对搜索性能的高估,并表明答案在上下文中的位置会对检索质量产生关键影响。
💡 Main Points
规模会显著影响 RAG 检索表现
BM25 的 Top 10 成功率从 10,000 个段落时的 86.8% 降至 268 万个段落时的 46.6%,下降了 40 个百分点;这使许多由作者自行构建的 RAG 基准测试失去说服力。
来自同一页面的干扰项会严重降低搜索表现
将 20 个填充段落替换为答案所在 Wikipedia 页面的内容后,成功率降低了 8.3 个百分点。这表明,干扰项可以利用 BM25 对标题赋予更高权重的优势。
小规模测试无法预测大规模表现
在 2,000 篇论文的测试中,性能没有显著下降;但当规模扩大到数百万条内容时,表现下降了 40 个百分点。这说明作者自行编写的评测会高估搜索质量,无法反映生产环境规模下的表现。
答案在上下文中的位置对检索质量至关重要
当来自同一页面的干扰项排名高于经过判定的段落时,它们会把正确答案挤出前 10 个结果,直接导致检索失败。
💬 Key Quotes
BM25 在 2,000 篇论文的测试中最多只下降了 2 个百分点,而在这里下降了 40 个百分点。
分数在每个规模下都持续下降。第一个达到我设定标准的规模是 100,000 个段落,下降了 11.1 个百分点,区间为 10.2 至 12.1 个百分点。
在完整语料库规模下,分数比 10,000 个段落时的结果低了约 40 个百分点。
在 210 组常规问题与抽取配对中,有 21 组没有任何经过判定的段落进入前 10 个结果。答案模型仍在其中 5 组中答对了,大约每 4 组有 1 组,因此一定是其他段落提供了答案线索。
替换的段落大多是同一页面中的短内容,例如一行「联赛冠军(5)」,在含义上也并不接近。它们之所以排名靠前,是因为搜索算法赋予标题匹配的权重是正文匹配的两倍。
📊 Article Meta
AI Screening: 88
Source: Towards Data Science
Author: Abdullahi Dattijo
Category: 人工智能
Language: 英文
Read Time: 15 min
Word Count: 3711
Tags:
AI 与智能应用 , RAG / 检索增强 , 提示工程 , 测试与质量 , 大语言模型
这篇文章分析得很透彻,收藏了!
很有价值的分享,感谢整理。
实测过类似工具,作者说的基本属实。
讲解得很细致,新手也能看懂。
作者写得真不错,学到了不少。
看完了,收获满满,期待更多更新。
看完了,收获满满,期待更多更新。
实话,说的不明不白
楼主辛苦了,内容很有参考价值。
收藏了,以后慢慢研究。
不错不错,已加入书签。
讲解得很细致,新手也能看懂。