宣布在 TPU 上使用 MaxText 上下文并行进行长上下文训练

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 912026-11-10767 阅读💛 120 收藏
宣布在 TPU 上使用 MaxText 上下文并行进行长上下文训练

📌 One-Sentence Summary

Google 宣布 MaxText 支持在 TPU 上使用 4 种上下文并行策略(All-gather、A2A、P2P、USP)进行长上下文训练,并搭配 Tokamax Splash Attention 内核;在 TPU 5p 上处理 4M-token 序列时 MFU 最高达 70%,在 TPU 7 上处理 14M-token 序列时 MFU 达 50%。

📝 Summary

本文宣布 MaxText——Google 的开源 JAX 训练框架——新增长上下文训练能力,可通过 4 种上下文并行策略在 Cloud TPU 上高效训练。该系统通过流式处理键和值,而非将其完整物化,从而解决注意力计算以及内存和通信方面的主要瓶颈。基准测试显示,Llama 3.1 8B 在 TPU 5p 上处理 4 million 个 token 时,模型 FLOPs 利用率(MFU)达到 70%;在 TPU 7 上处理 14 million 个 token 时,MFU 达到 50%。本文还详细介绍了各策略的技术实现、在不同 TPU 代际上的性能特点,并根据模型架构和序列长度提供策略选择建议。

💡 Main Points

支持 4 种长上下文训练的上下文并行策略

MaxText 支持 All-gather、A2A(Ulysses)、P2P(Ring Attention)以及 A2A+P2P 混合策略(USP)。这些策略在内存用量、通信开销和模型形状限制方面各有取舍。

Tokamax Splash Attention 内核实现高效计算

所有策略均使用 Tokamax 的 Splash Attention 内核。该内核会跳过完全被掩蔽的块,并能处理无需填充的打包序列,从而让通信与计算重叠进行。

在 TPU 5p 和 TPU 7 上实现出色的 MFU

Llama 3.1 8B 在 TPU 5p 上处理 4M 个 token 时,MFU 达到 70%;在 TPU 7 上处理 14M 个 token 时,MFU 达到 50%,展现了可扩展的长上下文训练能力。

根据 KV 内存和模型架构选择策略

KV 能放入 HBM 时,All-gather 最合适;芯片数量较少且不超过 KV 头数时,可使用 A2A;KV 无法继续放入内存时,建议采用环形策略系列(P2P/USP)。如果 A2A 因子可以达到 2 或更高,则优先考虑 USP。

💬 Key Quotes

在如此长的序列上进行训练,而不只是提供推理服务,才会暴露出系统的限制。

在长上下文场景中,注意力 FLOPs 会随序列长度呈平方增长,注意力计算也因此成为训练步骤的主要开销。

包括每个 token 对应的键和值总体积在内,激活值会随序列长度增长。像朴素 All-gather 那样在每个芯片上复制这些数据,会耗尽高带宽内存(HBM),并导致显存溢出。

这里的解决方法是采用上下文并行(CP),以流式方式处理键和值,而不是将它们完整物化。

Llama 3.1 8B(256 head dim,16 query heads)展现出出色的长上下文效率:在 TPU 5p 上处理最长 4 million 个 token 的序列时,模型 FLOPs 利用率(MFU)达到 70%。

TPU v7x(Ironwood)进一步提升了同一套方案的表现。每个芯片的 HBM 容量翻倍后,使用 64 个 TPU 7 芯片进行 14M-token 的 P2P 训练,模型 FLOPs 利用率(MFU)达到 48.7%,而 TPU 5p 上为 37.1%。

📊 Article Meta

AI Screening: 91

Featured: Yes

Source: Google Developers Blog

Author: Michael Tran, Nuojin Cheng, Deepak Patil

Category: 人工智能

Language: 英文

Read Time: 8 min

Word Count: 1958

Tags:

AI 与智能应用 , 模型训练与推理 , 注意力机制 , AI 工程 , 机器学习

#AI 与智能应用# 模型训练与推理# 注意力机制# AI 工程# 机器学习

文章评论(12)

杨丽华5 天前

整理得太全面了,省了我不少时间。

回复
风倚栏5 天前

这个比较实用,已转发给同事。

回复
一叶知秋6 天前

很有价值的分享,感谢整理。

回复
崔欣怡5 天前

思路清晰,干货满满。

回复
杨丽华5 天前

收藏了,以后慢慢研究。

回复
星寻梦5 天前

这篇文章分析得很透彻,收藏了!

回复
墨沐雨5 天前

这篇文章分析得很透彻,收藏了!

回复
南山客5 天前

收藏了,以后慢慢研究。

回复
青柠微凉5 天前

赞同,实践出真知。

回复
杨丽华5 天前

这篇文章分析得很透彻,收藏了!

回复
雪影5 天前

作者写得真不错,学到了不少。

回复
石佳琪5 天前

收藏了,以后慢慢研究。

回复