正确、有引用,却过时两年:衡量 RAG 中的版本泄漏

📌 One-Sentence Summary
本研究量化了基于联邦采购法规构建的 RAG 系统中的版本泄漏问题,表明日期过滤虽能提升准确率,但要彻底消除返回错误历史版本的情况,仍需完整的版本图和重排序。
📝 Summary
文章提出了一个用于衡量检索增强生成(RAG)系统中版本泄漏的基准。文中详细介绍了构建包含联邦采购法规多个修订版本的数据集的过程,以及开发一套测试套件来评估系统针对给定日期检索正确版本文档的能力。结果显示,简单的日期过滤能减少泄漏但无法消除,而采用版本图和重排序的更精细方法则能在返回正确版本上达到完美准确率。
💡 Main Points
版本泄漏是面向不断演变的文档的 RAG 系统中的重要问题,系统可能引用正确的章节,但来自错误的历史版本。
研究表明,标准 RAG 流水线常常检索并引用文档最新版本中的信息,即使查询指定了更早的日期。这种「泄漏」意味着答案在技术上正确(引用有效),但对于问题的历史语境而言事实错误。
简单的日期过滤能减少泄漏,但对于高准确率应用而言仍不够。
在检索查询中加入年份过滤能改善情况,降低返回错误版本的比例。然而,它并未完全解决问题,因为系统仍偶尔返回时间接近但不精确的版本,这表明需要更稳健的版本追踪机制。
要实现完美的版本准确率,版本图和重排序策略是必要的。
最有效的解决方案是构建文档版本图,以显式追踪随时间发生的变化。通过基于该图对搜索结果进行重排序,系统可以确保检索到的片段与指定查询日期有效的版本完全对应,从而有效消除版本泄漏。
💬 Key Quotes
法规会变化。小额采购阈值会调整,条款会重新编号,段落会出现也会消失。一个将语料库视为永恒不变的 RAG 系统,会用 2024 年的文本回答 2022 年的问题——引用正确,却完全错误。我称之为版本泄漏,在这个项目之前,我找不到一个能在具有官方时间点历史记录的语料库上衡量它的开放基准。
📊 Article Meta
AI Screening: 88
Source: DEV Community: machinelearning
Author: Raihan
Category: 人工智能
Language: 英文
Read Time: 2 min
Word Count: 437
Tags:
AI 与智能应用 , RAG / 检索增强 , 测试与质量 , RAG , 版本泄漏
点赞,必须点赞
刚好最近在找这方面的资料,太及时了。
作者写得真不错,学到了不少。
楼主辛苦了,内容很有参考价值。
赞同,实践出真知。
思路清晰,干货满满。
看完了,收获满满,期待更多更新。
讲解得很细致,新手也能看懂。
实测过类似工具,作者说的基本属实。
思路清晰,干货满满。
收藏了,以后慢慢研究。
作者写得真不错,学到了不少。