深入了解 Prometheus:Meta 打造千兆瓦级超级集群之路

星海拾光行业资讯📡 BestBlogs·全站精选⭐ 922026-10-20777 阅读💛 281 收藏
深入了解 Prometheus:Meta 打造千兆瓦级超级集群之路

📌 One-Sentence Summary

Meta 详细介绍了 Prometheus 的工程建设。这座位于俄亥俄州、规模达千兆瓦级的 AI 超级集群旨在扩展至 1 million 个 GPU,采用先进的 NVIDIA Blackwell 平台和多层网络架构,用于训练下一代基础模型。

📝 Summary

Meta 的 Prometheus 超级集群标志着 AI 基础设施的一次重大飞跃:它将俄亥俄州纽奥尔巴尼的一座传统数据中心改造为千兆瓦级设施。该集群采用 NVIDIA 的 GB200(Catalina)和 GB300(Clemente)NVL72 平台,将 72 个 GPU 视为一个加速器域,以最大限度提升算力和内存带宽。为支撑这一规模,Meta 部署了分层网络:包括楼宇级网络结构(DSF/NSF),以及覆盖最远 100km 的后端汇聚(BAG)网络。工程工作中相当大一部分聚焦于可靠性:Meta 采用 64-of-72 GPU 冗余策略、并行感知容错(PAFT),并与 NVIDIA 深度协同设计,将系统中断减少了 99%,显著提升了 Muse 基础模型训练的「有效训练吞吐量」。

💡 Main Points

转向 NVL72 架构扩大了扩展域规模,因此需要采用新的冗余策略。

从 NVL8 升级到 NVL72 后,故障影响范围扩大了 9x。Meta 通过为每个域配置 64 个活动 GPU 和 8 个机架内备用 GPU 来应对,确保单个 GPU 故障不会导致整个任务停止。

分层网络架构兼顾低延迟的本地通信与远距离汇聚。

该架构使用楼宇级以太网网络结构(从解耦调度网络演进为非调度网络)承载高带宽 GPU 间流量,并通过采用深缓冲硅芯片的后端汇聚(BAG)网络连接,覆盖最远 100km 的距离。

系统稳定性被视为提升「有效训练吞吐量」的首要工程指标。

Meta 通过细致拆解故障原因(包括 NVLink 信号完整性和 HBM 内存可靠性),并与 NVIDIA 采用协同设计模式,将中断减少了 99%,使预训练的有效训练吞吐量超过 85%。

硬件从 GB200 演进到 GB300,提升了设备密度和内存容量。

Clemente(GB300)平台将每个 GPU 的 HBM 容量提升了 1.5x,达到 288 GB;凭借原生 800G 扩展能力,完整的 72-GPU 域可装入单个机架。

💬 Key Quotes

Prometheus 达到满规模后,将由约 1 million 个分布式 GPU 组成,并全部协同运行。

最大的挑战在于如何避免系统频繁停机,维持训练进度。

我们的可靠性首要目标仍是每 8K 个 GPU 每天发生 2 次中断,即 MTBI 约为 100k GPU 小时。

中断率从峰值下降 99%,这表明在 Prometheus 这样的规模下,稳定性是一项能够通过工程手段解决的挑战。

📊 Article Meta

AI Screening: 92

Featured: Yes

Source: Engineering at Meta

Author: Engineering at Meta

Category: 软件编程

Language: 英文

Read Time: 14 min

Word Count: 3463

Tags:

编程与工程 , 系统设计 , 性能优化 , 分布式系统 , 可观测性

#编程与工程# 系统设计# 性能优化# 分布式系统# 可观测性

文章评论(12)

星寻梦26 天前

整理得太全面了,省了我不少时间。

回复
龙文博26 天前

实测过类似工具,作者说的基本属实。

回复
风倚栏26 天前

赞同,实践出真知。

回复
杨丽华26 天前

这个观点很中肯,深有同感。

回复
星知秋27 天前

实话,说的不明不白

回复
星寻梦26 天前

实话,说的不明不白

回复
雪知秋26 天前

思路清晰,干货满满。

回复
龙文博26 天前

看标题就点进来了,内容果然没让人失望。

回复
一叶知秋26 天前

这个观点很中肯,深有同感。

回复
风倚栏26 天前

点赞,必须点赞

回复
龙文博26 天前

刚好最近在找这方面的资料,太及时了。

回复
林拾贝26 天前

点赞,必须点赞

回复