在 MaxText 中复现 OLMo 3 7B 预训练：TPU 大规模训练案例研究

📌 One-Sentence Summary

Google 研究人员使用 MaxText 在 TPU 上成功复现了 OLMo 3 7B 的预训练和中训阶段，证明了该框架与原 PyTorch 实现的对等性，并提供了关于大规模训练可靠性和性能优化的详细案例研究。

📝 Summary

本技术案例研究详细介绍了使用 Google Cloud TPU 上的 MaxText 框架复现 AI2 的 OLMo 3 7B 模型的全过程。团队将 PyTorch 架构迁移至 JAX，在多个基准测试中使损失曲线和下游指标与原模型保持一致。报告强调了关键的工程挑战，包括一个导致训练损失虚假下降（记忆化）的 Grain 数据加载器「双分片」Bug 及其修复过程。此外，报告还提供了在 Ironwood TPU 上的广泛性能数据，通过 SparseCore 卸载和重物化（rematerialization）调优实现了 44.5% 的 MFU，同时展示了近乎完美的强扩展性，以及在不改变训练方案的情况下中途调整训练任务规模的能力。

💡 Main Points

忠实的框架复现

团队将 OLMo 3 的特定架构（reordered-norm、QK-norm、滑动/全局注意力机制）从 PyTorch 迁移到 JAX/MaxText，实现了 Logit 对等，并在六个里程碑测试中将下游准确率的宏观差异控制在 ±0.005 以内。

将训练损失作为唯一指标的危险性

Grain 数据加载器中的一个双分片 Bug 导致模型多次看到部分数据，引发训练损失大幅下降。这看起来像性能提升，实际上是记忆化，且只能通过留出集评估（held-out evaluations）检测出来。

TPU 性能优化

通过利用 SparseCore 集体卸载、最优重物化以及特定的 XLA 标志，在 Ironwood TPU 上实现了 44.5% 的 MFU，有效地将所需的计算预算降低了约三分之一。

基础设施的灵活性与扩展性

证明了 JAX/XLA 栈将训练方案与硬件拓扑解耦，允许任务在仅为原规模 1/4 的切片上恢复，或在不同 TPU 代际（Ironwood 到 v5p）之间切换，且吞吐量损失极小。

💬 Key Quotes

「训练损失并非收敛的证明。」

「我们之所以没有发布一个虚假的『MaxText 击败参考实现』的结论，是因为我们承诺在每个里程碑阶段都进行留出集评估。」

「训练方案与拓扑结构是解耦的。」

📊 Article Meta

AI Screening： 92

Source： Google Developers Blog

Author： Gagik Amirkhanyan, Ran Ran, Aireen Mei, Matt Davidow, TPU Inference Software Engineering Team, Google Cloud, AI2 Team

Category： 人工智能

Language： 英文

Read Time： 22 min

Word Count： 5258

Tags：

AI 与智能应用 , 模型训练与推理 , AI 工程 , 开放权重模型 , 大语言模型 (LLM)