宣布在 TPU 上使用 MaxText 上下文并行进行长上下文训练

📌 One-Sentence Summary
Google 宣布 MaxText 支持在 TPU 上使用 4 种上下文并行策略(All-gather、A2A、P2P、USP)进行长上下文训练,并搭配 Tokamax Splash Attention 内核;在 TPU 5p 上处理 4M-token 序列时 MFU 最高达 70%,在 TPU 7 上处理 14M-token 序列时 MFU 达 50%。
📝 Summary
本文宣布 MaxText——Google 的开源 JAX 训练框架——新增长上下文训练能力,可通过 4 种上下文并行策略在 Cloud TPU 上高效训练。该系统通过流式处理键和值,而非将其完整物化,从而解决注意力计算以及内存和通信方面的主要瓶颈。基准测试显示,Llama 3.1 8B 在 TPU 5p 上处理 4 million 个 token 时,模型 FLOPs 利用率(MFU)达到 70%;在 TPU 7 上处理 14 million 个 token 时,MFU 达到 50%。本文还详细介绍了各策略的技术实现、在不同 TPU 代际上的性能特点,并根据模型架构和序列长度提供策略选择建议。
💡 Main Points
支持 4 种长上下文训练的上下文并行策略
MaxText 支持 All-gather、A2A(Ulysses)、P2P(Ring Attention)以及 A2A+P2P 混合策略(USP)。这些策略在内存用量、通信开销和模型形状限制方面各有取舍。
Tokamax Splash Attention 内核实现高效计算
所有策略均使用 Tokamax 的 Splash Attention 内核。该内核会跳过完全被掩蔽的块,并能处理无需填充的打包序列,从而让通信与计算重叠进行。
在 TPU 5p 和 TPU 7 上实现出色的 MFU
Llama 3.1 8B 在 TPU 5p 上处理 4M 个 token 时,MFU 达到 70%;在 TPU 7 上处理 14M 个 token 时,MFU 达到 50%,展现了可扩展的长上下文训练能力。
根据 KV 内存和模型架构选择策略
KV 能放入 HBM 时,All-gather 最合适;芯片数量较少且不超过 KV 头数时,可使用 A2A;KV 无法继续放入内存时,建议采用环形策略系列(P2P/USP)。如果 A2A 因子可以达到 2 或更高,则优先考虑 USP。
💬 Key Quotes
在如此长的序列上进行训练,而不只是提供推理服务,才会暴露出系统的限制。
在长上下文场景中,注意力 FLOPs 会随序列长度呈平方增长,注意力计算也因此成为训练步骤的主要开销。
包括每个 token 对应的键和值总体积在内,激活值会随序列长度增长。像朴素 All-gather 那样在每个芯片上复制这些数据,会耗尽高带宽内存(HBM),并导致显存溢出。
这里的解决方法是采用上下文并行(CP),以流式方式处理键和值,而不是将它们完整物化。
Llama 3.1 8B(256 head dim,16 query heads)展现出出色的长上下文效率:在 TPU 5p 上处理最长 4 million 个 token 的序列时,模型 FLOPs 利用率(MFU)达到 70%。
TPU v7x(Ironwood)进一步提升了同一套方案的表现。每个芯片的 HBM 容量翻倍后,使用 64 个 TPU 7 芯片进行 14M-token 的 P2P 训练,模型 FLOPs 利用率(MFU)达到 48.7%,而 TPU 5p 上为 37.1%。
📊 Article Meta
AI Screening: 91
Featured: Yes
Source: Google Developers Blog
Author: Michael Tran, Nuojin Cheng, Deepak Patil
Category: 人工智能
Language: 英文
Read Time: 8 min
Word Count: 1958
Tags:
AI 与智能应用 , 模型训练与推理 , 注意力机制 , AI 工程 , 机器学习
整理得太全面了,省了我不少时间。
这个比较实用,已转发给同事。
很有价值的分享,感谢整理。
思路清晰,干货满满。
收藏了,以后慢慢研究。
这篇文章分析得很透彻,收藏了!
这篇文章分析得很透彻,收藏了!
收藏了,以后慢慢研究。
赞同,实践出真知。
这篇文章分析得很透彻,收藏了!
作者写得真不错,学到了不少。
收藏了,以后慢慢研究。