Meta 的 Faiss 1.16.0 新增 E-Means,加速大规模聚类

星海拾光AI 前沿📡 BestBlogs·AI高分精选⭐ 882026-11-11496 阅读💛 283 收藏
Meta 的 Faiss 1.16.0 新增 E-Means,加速大规模聚类

📌 One-Sentence Summary

Meta 发布的 Faiss 1.16.0 引入了 e-means 聚类这一新算法,仅需 1.4-2.6 个 epoch 即可达到 Lloyd k-means 的质量,并实现 10-45x 的 GPU 加速,从而高效聚类数十亿个向量。

📝 Summary

Meta 的 Faiss 库 1.16.0 纳入了 e-means,这是一种由 FAIR 研究人员与 École Nationale des Ponts et Chaussées 开发的指数移动平均聚类算法。Lloyd k-means 每次迭代都会根据完整数据集重新计算聚类统计量,而 e-means 则从小批次数据中更新经过指数衰减的总和与计数,使较早的分配结果逐渐降低影响。该算法利用两条缩放定律,根据数据集特征推导批次大小和初始步长,无需单独进行超参数扫描。基准测试显示,e-means 用 1.6-2.6 个 epoch 即可达到 Lloyd 运行 25 个 epoch 后的误差水平;在 H100 GPU 上提速 8-23x,在 64 个 CPU 核心上提速 9-15x。在 100 亿个向量的规模下,采用精确分配的 e-means 在 32 台机器上耗费 779 GPU 小时,运行 2.5 个 epoch 即告完成;而 IVF 近似方法在一台配备 8 块 GPU 的机器上仅耗费 23.2 GPU 小时,就取得了可比的结果。此次发布还包括参考实现、分布式训练支持、Triton 和 CuTe 后端、低精度分配以及 DINO 示例。

💡 Main Points

E-means 聚类使用经过指数衰减的小批次统计量更新质心,而不是基于完整数据集重新计算。

这种方法使较早的分配结果逐渐降低影响,从而加快收敛。将整个数据集作为一个批次、步长设为 1,即可复现一次 Lloyd 迭代;采用衰减的小批次处理,则能以更少的 epoch 达到相近质量。

缩放定律会根据数据集大小、聚类数量和 epoch 预算自动确定最佳批次大小与步长。

这些定律省去了早期小批次方法所需的单独超参数扫描。作者基于 75,000 次优化运行拟合这些定律,并报告称,在留出数据集上,步长定律的中位遗憾为 0.07%,默认批次定律为 0.19%。

基准测试表明,e-means 用 1.6-2.6 个 epoch 即可达到 Lloyd 运行 25 个 epoch 后的误差水平,并实现 8-23x 的 GPU 加速。

在 H100 80GB GPU 上进行的 11 项 VIBE 嵌入测试中,e-means 相比 Flash-KMeans 提速 8-23x,相比使用 64 个 CPU 核心的 Faiss 提速 9-15x。在 100 亿个向量的规模下,精确分配耗费 779 GPU 小时,在 32 台机器上运行 2.5 个 epoch 即告完成。

在 100 亿个向量的规模下,IVF 近似方法可降低 34x 成本,但在 1 亿个向量时没有优势。

这表明,epoch 数量并不能单独决定基础设施需求;实现方式和分配方法同样会影响硬件需求。IVF 会搜索选定的质心桶,而不是将每个数据点与所有质心逐一比较。

此次发布包含分布式训练、质心分片、Triton/CuTe 后端和低精度分配。

Faiss 支持在 CPU 上运行;GPU 执行使用启用 CUDA 的 PyTorch,在 H100/H200 上采用 CuTe 内核,在其他 NVIDIA GPU 上则采用 Triton。GPU 上只有最近质心分配使用低精度,质心和总和仍采用 FP32。由于需要 64 GiB 内存,质心数量达到 16 million 时必须进行分片。

💬 Key Quotes

E-means 则从小批次数据中更新经过指数衰减的总和与计数,因此较早的分配结果会逐渐降低影响;每个质心仍是其运行向量总和与运行计数的比值。

将整个数据集作为一个批次、步长设为 1,即可复现一次 Lloyd 迭代。

两条拟合得到的缩放定律会根据数据集大小、聚类数量和 epoch 预算推导批次大小与初始步长,从而免去早期小批次方法所需的单独超参数扫描。

作者报告称,e-means 只需 1.6 到 2.6 个 epoch 就能达到 Lloyd 运行 25 个 epoch 后的误差水平;与单块 H100 上的 Flash-KMeans 相比,速度提升为 8.0× 到 22.8×。

在 100 亿个向量的规模下,IVF 分配的成本比精确分配低 34×,但在 1 亿个向量时没有优势。

📊 Article Meta

AI Screening: 88

Source: Unite.AI

Author: Jonas Reeve, Cognitive AI & AGI, AI Research Agent

Category: 人工智能

Language: 英文

Read Time: 4 min

Word Count: 982

Tags:

AI 与智能应用 , 模型训练与推理 , 性能优化 , AI 硬件与芯片 , Scaling Laws

#AI 与智能应用# 模型训练与推理# 性能优化# AI 硬件与芯片# Scaling Laws

文章评论(12)

风倚栏4 天前

点赞,必须点赞

回复
杨丽华5 天前

内容翔实,正好需要,先收藏再看。

回复
星知秋4 天前

内容翔实,正好需要,先收藏再看。

回复
龙文博4 天前

整理得太全面了,省了我不少时间。

回复
晨沐雨4 天前

收藏了,以后慢慢研究。

回复
林观澜4 天前

这个观点很中肯,深有同感。

回复
陈皮话梅糖4 天前

内容翔实,正好需要,先收藏再看。

回复
陈皮话梅糖4 天前

这个比较实用,已转发给同事。

回复
山问津4 天前

作者写得真不错,学到了不少。

回复
风倚栏4 天前

赞同,实践出真知。

回复
雪知秋4 天前

收藏了,以后慢慢研究。

回复
空向阳4 天前

看完了,收获满满,期待更多更新。

回复