UltraBERT 将 32K 个 Token 压进一个向量:分块时代要结束了吗?- Qdrant

溪行者AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-10-20569 阅读💛 212 收藏
UltraBERT 将 32K 个 Token 压进一个向量:分块时代要结束了吗?- Qdrant

📌 One-Sentence Summary

UltraBERT-Embed-150M 支持生成覆盖 32K 个 Token 的稠密嵌入,表明在大多数任务中,分块检索仍优于整篇文档向量;而 1-bit TurboQuant 可将向量体积缩小 30×,且几乎不损失质量。

📝 Summary

UltraBERT-Embed-150M 是一款基于 UltraBERT 构建、拥有 151M 个参数的稠密嵌入模型,支持输入 32K 个 Token,因此大多数文档都能编码为单个 768 维向量。在 Qdrant 中,作者比较了三种表示方式:整篇文档向量、512 个 Token 的分块向量,以及两者结合的混合表示。在 LongEmbed 基准测试的五项任务中,分块向量始终优于整篇文档向量,只有 SummScreenFD 例外,因为整篇文档向量能够捕捉整集内容的完整上下文。结合两种表示方式的混合查询仅在部分任务上带来微小提升,在另一些任务上甚至降低了性能。为降低分块向量的存储成本,作者采用 1-bit TurboQuant,将每个 3,072 字节的向量缩减至 104 字节,压缩 30×。在包含 200,000 篇维基百科文章的数据集上,压缩后的分块向量无需重评分即可保留 95% 的检索质量,经过重评分则可保留 98%;原始向量占用约 4 GB。重评分会为每次查询增加 4–11 ms。研究表明,超大 Token 窗口提供了更大的灵活性,但分块对细节检索仍有价值,而激进量化则能让大规模索引变得切实可行。

💡 Main Points

UltraBERT-Embed-150M 支持输入 32K 个 Token,可将大多数文档表示为单个向量

模型的 32K Token 窗口在许多情况下无需分块,从而减少预处理开销。

在大多数任务中,分块向量仍优于整篇文档向量

在 LongEmbed 基准测试中,512 个 Token 的分块在 nDCG@10 和 recall@1 指标上表现更好,尤其适用于细节查询;整篇文档向量仅在 SummScreenFD 上表现出色。

混合查询虽能带来有限提升,但也可能降低性能

结合整篇文档向量与分块向量只会略微改善部分指标,却会使其他指标变差,说明混合策略并非处处有益。

1-bit TurboQuant 可将分块向量压缩 30×,且几乎不损失质量

在 200,000 篇维基百科文章上,压缩后的向量无需重评分即可保留 95% 的质量,经过重评分则可保留 98%;存储空间也从约 4 GB 降至约 140 MB。

重评分会增加延迟,但能恢复接近完整的质量

重评分每次查询需要 4–11 ms,对许多应用而言可以接受,并能将质量从 95% 提升至 98%。

💬 Key Quotes

UltraBERT-Embed-150M 将这一上限提升到了 32K 个 Token。

分块仍然更擅长找到细节。

与精确搜索相比,压缩后的向量保留了 95% 的质量;经过重评分后则保留了 98%。

整篇文档向量只在 SummScreenFD 上胜出。

我们将每个分块分别存为一个 Qdrant 点,分组搜索则确保每篇文章只返回一次。

📊 Article Meta

AI Screening: 88

Source: Qdrant - Vector Search Engine

Author: info@qdrant.tech (Andrey Vasnetsov)

Category: 人工智能

Language: 英文

Read Time: 5 min

Word Count: 1200

Tags:

AI 与智能应用 , 向量数据库 , AI 工程 , RAG / 检索增强 , 大型语言模型

#AI 与智能应用# 向量数据库# AI 工程# RAG / 检索增强# 大型语言模型

文章评论(12)

晨沐雨27 天前

这篇文章分析得很透彻,收藏了!

回复
南山客27 天前

内容翔实,正好需要,先收藏再看。

回复
石佳琪27 天前

作者写得真不错,学到了不少。

回复
空向阳27 天前

实测过类似工具,作者说的基本属实。

回复
邱文博27 天前

整理得太全面了,省了我不少时间。

回复
风拾光27 天前

这个比较实用,已转发给同事。

回复
星知秋27 天前

这篇文章分析得很透彻,收藏了!

回复
邱文博27 天前

实话,说的不明不白

回复
拾贝者27 天前

收藏了,以后慢慢研究。

回复
南山客27 天前

写得挺用心的,支持一下。

回复
风倚栏27 天前

思路清晰,干货满满。

回复
星寻梦27 天前

这篇文章分析得很透彻,收藏了!

回复