UltraBERT 将 32K 个 Token 压进一个向量:分块时代要结束了吗?- Qdrant

📌 One-Sentence Summary
UltraBERT-Embed-150M 支持生成覆盖 32K 个 Token 的稠密嵌入,表明在大多数任务中,分块检索仍优于整篇文档向量;而 1-bit TurboQuant 可将向量体积缩小 30×,且几乎不损失质量。
📝 Summary
UltraBERT-Embed-150M 是一款基于 UltraBERT 构建、拥有 151M 个参数的稠密嵌入模型,支持输入 32K 个 Token,因此大多数文档都能编码为单个 768 维向量。在 Qdrant 中,作者比较了三种表示方式:整篇文档向量、512 个 Token 的分块向量,以及两者结合的混合表示。在 LongEmbed 基准测试的五项任务中,分块向量始终优于整篇文档向量,只有 SummScreenFD 例外,因为整篇文档向量能够捕捉整集内容的完整上下文。结合两种表示方式的混合查询仅在部分任务上带来微小提升,在另一些任务上甚至降低了性能。为降低分块向量的存储成本,作者采用 1-bit TurboQuant,将每个 3,072 字节的向量缩减至 104 字节,压缩 30×。在包含 200,000 篇维基百科文章的数据集上,压缩后的分块向量无需重评分即可保留 95% 的检索质量,经过重评分则可保留 98%;原始向量占用约 4 GB。重评分会为每次查询增加 4–11 ms。研究表明,超大 Token 窗口提供了更大的灵活性,但分块对细节检索仍有价值,而激进量化则能让大规模索引变得切实可行。
💡 Main Points
UltraBERT-Embed-150M 支持输入 32K 个 Token,可将大多数文档表示为单个向量
模型的 32K Token 窗口在许多情况下无需分块,从而减少预处理开销。
在大多数任务中,分块向量仍优于整篇文档向量
在 LongEmbed 基准测试中,512 个 Token 的分块在 nDCG@10 和 recall@1 指标上表现更好,尤其适用于细节查询;整篇文档向量仅在 SummScreenFD 上表现出色。
混合查询虽能带来有限提升,但也可能降低性能
结合整篇文档向量与分块向量只会略微改善部分指标,却会使其他指标变差,说明混合策略并非处处有益。
1-bit TurboQuant 可将分块向量压缩 30×,且几乎不损失质量
在 200,000 篇维基百科文章上,压缩后的向量无需重评分即可保留 95% 的质量,经过重评分则可保留 98%;存储空间也从约 4 GB 降至约 140 MB。
重评分会增加延迟,但能恢复接近完整的质量
重评分每次查询需要 4–11 ms,对许多应用而言可以接受,并能将质量从 95% 提升至 98%。
💬 Key Quotes
UltraBERT-Embed-150M 将这一上限提升到了 32K 个 Token。
分块仍然更擅长找到细节。
与精确搜索相比,压缩后的向量保留了 95% 的质量;经过重评分后则保留了 98%。
整篇文档向量只在 SummScreenFD 上胜出。
我们将每个分块分别存为一个 Qdrant 点,分组搜索则确保每篇文章只返回一次。
📊 Article Meta
AI Screening: 88
Source: Qdrant - Vector Search Engine
Author: info@qdrant.tech (Andrey Vasnetsov)
Category: 人工智能
Language: 英文
Read Time: 5 min
Word Count: 1200
Tags:
AI 与智能应用 , 向量数据库 , AI 工程 , RAG / 检索增强 , 大型语言模型
这篇文章分析得很透彻,收藏了!
内容翔实,正好需要,先收藏再看。
作者写得真不错,学到了不少。
实测过类似工具,作者说的基本属实。
整理得太全面了,省了我不少时间。
这个比较实用,已转发给同事。
这篇文章分析得很透彻,收藏了!
实话,说的不明不白
收藏了,以后慢慢研究。
写得挺用心的,支持一下。
思路清晰,干货满满。
这篇文章分析得很透彻,收藏了!