一项在 2,000 篇论文上通过的 RAG 搜索测试,在 2.68M 规模下每 100 个问题多漏掉 40 个答案

溪行者AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-131122 阅读💛 72 收藏
一项在 2,000 篇论文上通过的 RAG 搜索测试,在 2.68M 规模下每 100 个问题多漏掉 40 个答案

📌 One-Sentence Summary

这项研究测试了不同规模语料库中的 RAG 检索表现,语料库范围从 2,000 篇 arXiv 论文到 268 万个 Wikipedia 段落;结果发现,BM25 的召回率在规模扩大后下降了 40 个百分点,而来自同一页面的干扰项会显著降低表现。

📝 Summary

文章通过两项实证测试评估检索增强生成(RAG)的搜索质量。第一项测试在包含 100 至 1,801 篇 arXiv 论文的语料库中,针对 298 个问题评估 BM25 和基于嵌入的检索,发现性能仅下降 1-3.4 个百分点,未达到作者设定的显著性阈值。第二项测试使用 BM25,将规模扩大到 268 万个 Wikipedia 段落,发现成功率大幅下降:从 10,000 个段落时的 86.8% 降至全量语料时的 46.6%,相差 40 个百分点。第三项测试单独考察来自同一页面的干扰项,结果显示,将 20 个段落替换为答案所在 Wikipedia 页面的内容,会使成功率降低 8.3 个百分点。这些发现质疑了由作者自行编写的 RAG 评测对搜索性能的高估,并表明答案在上下文中的位置会对检索质量产生关键影响。

💡 Main Points

规模会显著影响 RAG 检索表现

BM25 的 Top 10 成功率从 10,000 个段落时的 86.8% 降至 268 万个段落时的 46.6%,下降了 40 个百分点;这使许多由作者自行构建的 RAG 基准测试失去说服力。

来自同一页面的干扰项会严重降低搜索表现

将 20 个填充段落替换为答案所在 Wikipedia 页面的内容后,成功率降低了 8.3 个百分点。这表明,干扰项可以利用 BM25 对标题赋予更高权重的优势。

小规模测试无法预测大规模表现

在 2,000 篇论文的测试中,性能没有显著下降;但当规模扩大到数百万条内容时,表现下降了 40 个百分点。这说明作者自行编写的评测会高估搜索质量,无法反映生产环境规模下的表现。

答案在上下文中的位置对检索质量至关重要

当来自同一页面的干扰项排名高于经过判定的段落时,它们会把正确答案挤出前 10 个结果,直接导致检索失败。

💬 Key Quotes

BM25 在 2,000 篇论文的测试中最多只下降了 2 个百分点,而在这里下降了 40 个百分点。

分数在每个规模下都持续下降。第一个达到我设定标准的规模是 100,000 个段落,下降了 11.1 个百分点,区间为 10.2 至 12.1 个百分点。

在完整语料库规模下,分数比 10,000 个段落时的结果低了约 40 个百分点。

在 210 组常规问题与抽取配对中,有 21 组没有任何经过判定的段落进入前 10 个结果。答案模型仍在其中 5 组中答对了,大约每 4 组有 1 组,因此一定是其他段落提供了答案线索。

替换的段落大多是同一页面中的短内容,例如一行「联赛冠军(5)」,在含义上也并不接近。它们之所以排名靠前,是因为搜索算法赋予标题匹配的权重是正文匹配的两倍。

📊 Article Meta

AI Screening: 88

Source: Towards Data Science

Author: Abdullahi Dattijo

Category: 人工智能

Language: 英文

Read Time: 15 min

Word Count: 3711

Tags:

AI 与智能应用 , RAG / 检索增强 , 提示工程 , 测试与质量 , 大语言模型

#AI 与智能应用# RAG / 检索增强# 提示工程# 测试与质量# 大语言模型

文章评论(12)

郭超2 天前

这篇文章分析得很透彻,收藏了!

回复
空向阳3 天前

很有价值的分享,感谢整理。

回复
龙文博2 天前

实测过类似工具,作者说的基本属实。

回复
陈皮话梅糖2 天前

讲解得很细致,新手也能看懂。

回复
杨丽华2 天前

作者写得真不错,学到了不少。

回复
邱文博2 天前

看完了,收获满满,期待更多更新。

回复
蓝临风2 天前

看完了,收获满满,期待更多更新。

回复
松听风2 天前

实话,说的不明不白

回复
暮拾贝2 天前

楼主辛苦了,内容很有参考价值。

回复
陈皮话梅糖2 天前

收藏了,以后慢慢研究。

回复
墨沐雨2 天前

不错不错,已加入书签。

回复
一个橘子2 天前

讲解得很细致,新手也能看懂。

回复