Meta 的 Faiss 1.16.0 新增 E-Means,加速大规模聚类

📌 One-Sentence Summary
Meta 发布的 Faiss 1.16.0 引入了 e-means 聚类这一新算法,仅需 1.4-2.6 个 epoch 即可达到 Lloyd k-means 的质量,并实现 10-45x 的 GPU 加速,从而高效聚类数十亿个向量。
📝 Summary
Meta 的 Faiss 库 1.16.0 纳入了 e-means,这是一种由 FAIR 研究人员与 École Nationale des Ponts et Chaussées 开发的指数移动平均聚类算法。Lloyd k-means 每次迭代都会根据完整数据集重新计算聚类统计量,而 e-means 则从小批次数据中更新经过指数衰减的总和与计数,使较早的分配结果逐渐降低影响。该算法利用两条缩放定律,根据数据集特征推导批次大小和初始步长,无需单独进行超参数扫描。基准测试显示,e-means 用 1.6-2.6 个 epoch 即可达到 Lloyd 运行 25 个 epoch 后的误差水平;在 H100 GPU 上提速 8-23x,在 64 个 CPU 核心上提速 9-15x。在 100 亿个向量的规模下,采用精确分配的 e-means 在 32 台机器上耗费 779 GPU 小时,运行 2.5 个 epoch 即告完成;而 IVF 近似方法在一台配备 8 块 GPU 的机器上仅耗费 23.2 GPU 小时,就取得了可比的结果。此次发布还包括参考实现、分布式训练支持、Triton 和 CuTe 后端、低精度分配以及 DINO 示例。
💡 Main Points
E-means 聚类使用经过指数衰减的小批次统计量更新质心,而不是基于完整数据集重新计算。
这种方法使较早的分配结果逐渐降低影响,从而加快收敛。将整个数据集作为一个批次、步长设为 1,即可复现一次 Lloyd 迭代;采用衰减的小批次处理,则能以更少的 epoch 达到相近质量。
缩放定律会根据数据集大小、聚类数量和 epoch 预算自动确定最佳批次大小与步长。
这些定律省去了早期小批次方法所需的单独超参数扫描。作者基于 75,000 次优化运行拟合这些定律,并报告称,在留出数据集上,步长定律的中位遗憾为 0.07%,默认批次定律为 0.19%。
基准测试表明,e-means 用 1.6-2.6 个 epoch 即可达到 Lloyd 运行 25 个 epoch 后的误差水平,并实现 8-23x 的 GPU 加速。
在 H100 80GB GPU 上进行的 11 项 VIBE 嵌入测试中,e-means 相比 Flash-KMeans 提速 8-23x,相比使用 64 个 CPU 核心的 Faiss 提速 9-15x。在 100 亿个向量的规模下,精确分配耗费 779 GPU 小时,在 32 台机器上运行 2.5 个 epoch 即告完成。
在 100 亿个向量的规模下,IVF 近似方法可降低 34x 成本,但在 1 亿个向量时没有优势。
这表明,epoch 数量并不能单独决定基础设施需求;实现方式和分配方法同样会影响硬件需求。IVF 会搜索选定的质心桶,而不是将每个数据点与所有质心逐一比较。
此次发布包含分布式训练、质心分片、Triton/CuTe 后端和低精度分配。
Faiss 支持在 CPU 上运行;GPU 执行使用启用 CUDA 的 PyTorch,在 H100/H200 上采用 CuTe 内核,在其他 NVIDIA GPU 上则采用 Triton。GPU 上只有最近质心分配使用低精度,质心和总和仍采用 FP32。由于需要 64 GiB 内存,质心数量达到 16 million 时必须进行分片。
💬 Key Quotes
E-means 则从小批次数据中更新经过指数衰减的总和与计数,因此较早的分配结果会逐渐降低影响;每个质心仍是其运行向量总和与运行计数的比值。
将整个数据集作为一个批次、步长设为 1,即可复现一次 Lloyd 迭代。
两条拟合得到的缩放定律会根据数据集大小、聚类数量和 epoch 预算推导批次大小与初始步长,从而免去早期小批次方法所需的单独超参数扫描。
作者报告称,e-means 只需 1.6 到 2.6 个 epoch 就能达到 Lloyd 运行 25 个 epoch 后的误差水平;与单块 H100 上的 Flash-KMeans 相比,速度提升为 8.0× 到 22.8×。
在 100 亿个向量的规模下,IVF 分配的成本比精确分配低 34×,但在 1 亿个向量时没有优势。
📊 Article Meta
AI Screening: 88
Source: Unite.AI
Author: Jonas Reeve, Cognitive AI & AGI, AI Research Agent
Category: 人工智能
Language: 英文
Read Time: 4 min
Word Count: 982
Tags:
AI 与智能应用 , 模型训练与推理 , 性能优化 , AI 硬件与芯片 , Scaling Laws
点赞,必须点赞
内容翔实,正好需要,先收藏再看。
内容翔实,正好需要,先收藏再看。
整理得太全面了,省了我不少时间。
收藏了,以后慢慢研究。
这个观点很中肯,深有同感。
内容翔实,正好需要,先收藏再看。
这个比较实用,已转发给同事。
作者写得真不错,学到了不少。
赞同,实践出真知。
收藏了,以后慢慢研究。
看完了,收获满满,期待更多更新。