使用 PyTorch 和 TorchTitan 在欧盟公共基础设施上训练 1T 参数的 MoE 模型

星海拾光行业资讯📡 BestBlogs·全站精选⭐ 902026-11-13290 阅读💛 75 收藏
使用 PyTorch 和 TorchTitan 在欧盟公共基础设施上训练 1T 参数的 MoE 模型

📌 One-Sentence Summary

本文介绍 EUROPA 联盟如何使用 PyTorch 和 TorchTitan,在 JUPITER 超级计算机上扩展预训练一个约 1T 参数的混合专家模型,并通过 FlexShard、激活卸载和 FSDP 流管理等优化,实现每 GPU 约 1,300 tokens/s 的吞吐量。

📝 Summary

EUROPA 联盟利用 PyTorch 和 TorchTitan,克服了独特的基础设施限制,成功在欧盟公共超级计算机 JUPITER 上训练了一个拥有 951.9B 参数的混合专家模型。关键优化包括为 Muon 优化器采用 FlexShard 放置策略以减少通信、将激活检查点卸载到 Grace CPU 内存,以及让 FSDP 的 all-gather 在计算流上运行以释放 HBM。这些技术使 384 个 NVIDIA GH200 GPU 的吞吐量从每 GPU 90 tokens/s 提升至约 1,300 tokens/s。这项工作表明,借助共享公共资源,主权开源 AI 也能达到前沿规模;同时,团队向 PyTorch 和 TorchTitan 回馈了相关成果,助力复现。

💡 Main Points

在公共基础设施上扩展 MoE 训练

EUROPA 联盟在 JUPITER 这台欧盟共享超级计算机上训练了一个拥有 951.9B 参数的 MoE 模型,证明通过精心优化,公共基础设施也能支撑前沿规模的 AI 训练。

使用 FlexShard 减少 Muon 优化器的通信

FlexShard 放置策略可按完整专家对专家矩阵进行分片,使 Newton-Schulz 迭代无需通信;同时,稠密矩阵的计算可与通信重叠,从而将优化器步进时间从 41.7s 降至 2.2s。

将激活卸载到 Grace CPU 内存

前向传播期间,边界激活会被卸载到 Grace CPU 内存,并在反向重计算前传回 HBM。这使序列长度得以增加到 65,536 tokens,并将每 GPU 吞吐量从 370 提升至 508 tokens/s。

使用 unshard_async_op 管理 FSDP 流

启用 FSDP 的 unshard_async_op 标志后,all-gather 会在计算流上运行,避免内存碎片化和分配器重试,将峰值内存从 88.1 降至 74.6 GiB,并将每 GPU 吞吐量从 996 提升至 1,210 tokens/s。

向 PyTorch 和 TorchTitan 回馈成果

团队将 FlexShard、激活卸载钩子、共享 RoPE 缓存、跳过嵌入层重新聚合以及 RNG 修复等成果贡献回上游,让更广泛的社区能够使用这些优化并复现相关结果。

💬 Key Quotes

由于独特的架构和互连瓶颈,此前人们认为,在共享公共基础设施上扩展一个约 1 万亿参数的混合专家(MoE)模型预训练任务并不可行。

作为 EuroHPC Frontier AI Grand Challenge 的一部分,我们在 384 个 NVIDIA GH200 GPU 上,将每 GPU 吞吐量从 90 提升至约 1,300 tokens/s;每个 DP 副本包含 96 个节点。

为 Muon 优化器采用 FlexShard 放置策略,可消除优化器的大部分通信。

将激活检查点卸载到 Grace CPU。

让 FSDP 的 all-gather 设置在计算流上运行(unshard_async_op),可为每个 GPU 释放约 14 GiB 的 HBM。

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: PyTorch

Author: The EUROPA consortium (Domyn, Fraunhofer IAIS and IIS)

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1940

Tags:

AI 与智能应用 , 混合专家模型 , AI 硬件与芯片 , 模型训练与推理 , LLM 推理优化

#AI 与智能应用# 混合专家模型# AI 硬件与芯片# 模型训练与推理# LLM 推理优化

文章评论(12)

暮拾贝2 天前

这个比较实用,已转发给同事。

回复
武磊2 天前

作者写得真不错,学到了不少。

回复
林观澜2 天前

这篇文章分析得很透彻,收藏了!

回复
月沐雨2 天前

讲解得很细致,新手也能看懂。

回复
武磊2 天前

实话,说的不明不白

回复
雪影2 天前

讲解得很细致,新手也能看懂。

回复
山问津2 天前

看标题就点进来了,内容果然没让人失望。

回复
蓝光2 天前

这个观点很中肯,深有同感。

回复
林拾贝2 天前

收藏了,以后慢慢研究。

回复
逐光而行2 天前

刚好最近在找这方面的资料,太及时了。

回复
墨沐雨2 天前

赞同,实践出真知。

回复
暮临风2 天前

实话,说的不明不白

回复