使用 PyTorch 和 TorchTitan 在欧盟公共基础设施上训练 1T 参数的 MoE 模型

📌 One-Sentence Summary
本文介绍 EUROPA 联盟如何使用 PyTorch 和 TorchTitan,在 JUPITER 超级计算机上扩展预训练一个约 1T 参数的混合专家模型,并通过 FlexShard、激活卸载和 FSDP 流管理等优化,实现每 GPU 约 1,300 tokens/s 的吞吐量。
📝 Summary
EUROPA 联盟利用 PyTorch 和 TorchTitan,克服了独特的基础设施限制,成功在欧盟公共超级计算机 JUPITER 上训练了一个拥有 951.9B 参数的混合专家模型。关键优化包括为 Muon 优化器采用 FlexShard 放置策略以减少通信、将激活检查点卸载到 Grace CPU 内存,以及让 FSDP 的 all-gather 在计算流上运行以释放 HBM。这些技术使 384 个 NVIDIA GH200 GPU 的吞吐量从每 GPU 90 tokens/s 提升至约 1,300 tokens/s。这项工作表明,借助共享公共资源,主权开源 AI 也能达到前沿规模;同时,团队向 PyTorch 和 TorchTitan 回馈了相关成果,助力复现。
💡 Main Points
在公共基础设施上扩展 MoE 训练
EUROPA 联盟在 JUPITER 这台欧盟共享超级计算机上训练了一个拥有 951.9B 参数的 MoE 模型,证明通过精心优化,公共基础设施也能支撑前沿规模的 AI 训练。
使用 FlexShard 减少 Muon 优化器的通信
FlexShard 放置策略可按完整专家对专家矩阵进行分片,使 Newton-Schulz 迭代无需通信;同时,稠密矩阵的计算可与通信重叠,从而将优化器步进时间从 41.7s 降至 2.2s。
将激活卸载到 Grace CPU 内存
前向传播期间,边界激活会被卸载到 Grace CPU 内存,并在反向重计算前传回 HBM。这使序列长度得以增加到 65,536 tokens,并将每 GPU 吞吐量从 370 提升至 508 tokens/s。
使用 unshard_async_op 管理 FSDP 流
启用 FSDP 的 unshard_async_op 标志后,all-gather 会在计算流上运行,避免内存碎片化和分配器重试,将峰值内存从 88.1 降至 74.6 GiB,并将每 GPU 吞吐量从 996 提升至 1,210 tokens/s。
向 PyTorch 和 TorchTitan 回馈成果
团队将 FlexShard、激活卸载钩子、共享 RoPE 缓存、跳过嵌入层重新聚合以及 RNG 修复等成果贡献回上游,让更广泛的社区能够使用这些优化并复现相关结果。
💬 Key Quotes
由于独特的架构和互连瓶颈,此前人们认为,在共享公共基础设施上扩展一个约 1 万亿参数的混合专家(MoE)模型预训练任务并不可行。
作为 EuroHPC Frontier AI Grand Challenge 的一部分,我们在 384 个 NVIDIA GH200 GPU 上,将每 GPU 吞吐量从 90 提升至约 1,300 tokens/s;每个 DP 副本包含 96 个节点。
为 Muon 优化器采用 FlexShard 放置策略,可消除优化器的大部分通信。
将激活检查点卸载到 Grace CPU。
让 FSDP 的 all-gather 设置在计算流上运行(unshard_async_op),可为每个 GPU 释放约 14 GiB 的 HBM。
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: PyTorch
Author: The EUROPA consortium (Domyn, Fraunhofer IAIS and IIS)
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1940
Tags:
AI 与智能应用 , 混合专家模型 , AI 硬件与芯片 , 模型训练与推理 , LLM 推理优化
这个比较实用,已转发给同事。
作者写得真不错,学到了不少。
这篇文章分析得很透彻,收藏了!
讲解得很细致,新手也能看懂。
实话,说的不明不白
讲解得很细致,新手也能看懂。
看标题就点进来了,内容果然没让人失望。
这个观点很中肯,深有同感。
收藏了,以后慢慢研究。
刚好最近在找这方面的资料,太及时了。
赞同,实践出真知。
实话,说的不明不白