深入了解 Prometheus:Meta 打造千兆瓦级超级集群之路

📌 One-Sentence Summary
Meta 详细介绍了 Prometheus 的工程建设。这座位于俄亥俄州、规模达千兆瓦级的 AI 超级集群旨在扩展至 1 million 个 GPU,采用先进的 NVIDIA Blackwell 平台和多层网络架构,用于训练下一代基础模型。
📝 Summary
Meta 的 Prometheus 超级集群标志着 AI 基础设施的一次重大飞跃:它将俄亥俄州纽奥尔巴尼的一座传统数据中心改造为千兆瓦级设施。该集群采用 NVIDIA 的 GB200(Catalina)和 GB300(Clemente)NVL72 平台,将 72 个 GPU 视为一个加速器域,以最大限度提升算力和内存带宽。为支撑这一规模,Meta 部署了分层网络:包括楼宇级网络结构(DSF/NSF),以及覆盖最远 100km 的后端汇聚(BAG)网络。工程工作中相当大一部分聚焦于可靠性:Meta 采用 64-of-72 GPU 冗余策略、并行感知容错(PAFT),并与 NVIDIA 深度协同设计,将系统中断减少了 99%,显著提升了 Muse 基础模型训练的「有效训练吞吐量」。
💡 Main Points
转向 NVL72 架构扩大了扩展域规模,因此需要采用新的冗余策略。
从 NVL8 升级到 NVL72 后,故障影响范围扩大了 9x。Meta 通过为每个域配置 64 个活动 GPU 和 8 个机架内备用 GPU 来应对,确保单个 GPU 故障不会导致整个任务停止。
分层网络架构兼顾低延迟的本地通信与远距离汇聚。
该架构使用楼宇级以太网网络结构(从解耦调度网络演进为非调度网络)承载高带宽 GPU 间流量,并通过采用深缓冲硅芯片的后端汇聚(BAG)网络连接,覆盖最远 100km 的距离。
系统稳定性被视为提升「有效训练吞吐量」的首要工程指标。
Meta 通过细致拆解故障原因(包括 NVLink 信号完整性和 HBM 内存可靠性),并与 NVIDIA 采用协同设计模式,将中断减少了 99%,使预训练的有效训练吞吐量超过 85%。
硬件从 GB200 演进到 GB300,提升了设备密度和内存容量。
Clemente(GB300)平台将每个 GPU 的 HBM 容量提升了 1.5x,达到 288 GB;凭借原生 800G 扩展能力,完整的 72-GPU 域可装入单个机架。
💬 Key Quotes
Prometheus 达到满规模后,将由约 1 million 个分布式 GPU 组成,并全部协同运行。
最大的挑战在于如何避免系统频繁停机,维持训练进度。
我们的可靠性首要目标仍是每 8K 个 GPU 每天发生 2 次中断,即 MTBI 约为 100k GPU 小时。
中断率从峰值下降 99%,这表明在 Prometheus 这样的规模下,稳定性是一项能够通过工程手段解决的挑战。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: Engineering at Meta
Author: Engineering at Meta
Category: 软件编程
Language: 英文
Read Time: 14 min
Word Count: 3463
Tags:
编程与工程 , 系统设计 , 性能优化 , 分布式系统 , 可观测性
整理得太全面了,省了我不少时间。
实测过类似工具,作者说的基本属实。
赞同,实践出真知。
这个观点很中肯,深有同感。
实话,说的不明不白
实话,说的不明不白
思路清晰,干货满满。
看标题就点进来了,内容果然没让人失望。
这个观点很中肯,深有同感。
点赞,必须点赞
刚好最近在找这方面的资料,太及时了。
点赞,必须点赞