使用 SGLang-TorchTPU 在 TPU v7 上优化 Muse Spark Open

📌 One-Sentence Summary
本文详细介绍 PyTorch 的 TorchTPU 与 SGLang 如何借助巨核架构,在 TPU v7 上为 Meta 的 816B 参数 Muse Spark Open MoE 模型实现高性能推理;该架构通过流水化处理权重、KV 缓存和集合通信,将解码延迟减半。
📝 Summary
这篇博客介绍如何使用 SGLang-TorchTPU,在一台配备 4 个芯片的 TPU v7 主机上运行 Meta 的 816B 参数 Muse Spark Open 混合专家模型并进行优化。核心创新是一个巨核,它将全部 62 个解码器层作为单个 Pallas 程序执行,从而能够持续从 HBM 流式读取权重,并让数据传输与计算重叠。关键技术包括:将集合通信折叠进计算,以流水化处理 all-gather 操作;采用无最大值注意力循环,打破在线 softmax 中的串行依赖;以及通过双循环处理专家,减少寄存器溢出。该系统使单请求解码速度提升 1.94×,并能以每芯片 25,906 tokens/s 处理 1M 上下文轨迹,验证步骤耗时不超过权重流式读取时间的 1.5–1.7×。
💡 Main Points
每台设备将解码或验证步骤中的全部 62 层作为单个 Pallas 程序运行,消除会中断权重流式读取的程序边界,从而实现从 HBM 到 MXU 的连续数据流。
集合通信折叠
将 all-gather 操作折叠进矩阵乘法,使投影计算能够在数据分片到达时立即开始,而不必等待完整的 gather;同时利用 RMS norm 的标量因子可与矩阵乘法交换这一特性。
无最大值注意力循环
通过使用分数有界的 QK 归一化注意力(最大绝对值为 43.8),消除了在线 softmax 中的运行最大值,使各数据块能够独立处理,并在微基准测试中实现 3.9× 的注意力加速。
双循环专家处理
按行数对专家排序,并通过两个独立循环处理,避免处理常见的少行数情况时,负载较重的 8 行变体造成寄存器溢出,使解码延迟降低 13–19%。
KV 写入流水线化
专用内核同时发起所有层的分页读取,并利用双 VMEM 缓冲区让读写操作重叠;在 16 行时,写入耗时从 810 µs 降至 155 µs。
💬 Key Quotes
核心是一个巨核:解码或验证步骤中的全部 62 层都作为一个 Pallas 程序运行,每次权重加载、KV 读取和跨设备传输都在计算过程中以流水线方式执行。
对于一个或两个并发请求,巨核能将每个输出 token 的耗时减半,此时收益最大;随着并发量增加,性能提升幅度会缩小。
Muse Spark 使用没有可学习权重的 RMS norm 对 q 和 k 进行归一化(QK-norm),并为 q 设置固定增益。注意力分数的绝对值不可能超过 43.8,远未达到 f32 中 exp 溢出的范围。
集合通信折叠使矩阵向量乘法能够在数据分片到达时立即开始,而不必像分解后的集合通信矩阵乘法那样等待整个 gather 完成。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: PyTorch
Author: Haolin Fu, Xiaoyu Zhang, Junyan Xu, Wangyuan Zhang, Haoguang Cai, RadixArk Team
Category: 人工智能
Language: 英文
Read Time: 22 min
Word Count: 5259
Tags:
AI 与智能应用 , 混合专家模型 , 注意力机制 , AI 硬件与芯片 , 数据工程
很有价值的分享,感谢整理。
看完了,收获满满,期待更多更新。
整理得太全面了,省了我不少时间。
讲解得很细致,新手也能看懂。
整理得太全面了,省了我不少时间。
看完了,收获满满,期待更多更新。
思路清晰,干货满满。
不错不错,已加入书签。
看标题就点进来了,内容果然没让人失望。
内容翔实,正好需要,先收藏再看。
这个观点很中肯,深有同感。
收藏了,以后慢慢研究。