使用 SGLang-TorchTPU 在 TPU v7 上优化 Muse Spark Open

王者归来已是老翁AI 前沿📡 BestBlogs·AI高分精选⭐ 922026-11-111101 阅读💛 116 收藏
使用 SGLang-TorchTPU 在 TPU v7 上优化 Muse Spark Open

📌 One-Sentence Summary

本文详细介绍 PyTorch 的 TorchTPU 与 SGLang 如何借助巨核架构,在 TPU v7 上为 Meta 的 816B 参数 Muse Spark Open MoE 模型实现高性能推理;该架构通过流水化处理权重、KV 缓存和集合通信,将解码延迟减半。

📝 Summary

这篇博客介绍如何使用 SGLang-TorchTPU,在一台配备 4 个芯片的 TPU v7 主机上运行 Meta 的 816B 参数 Muse Spark Open 混合专家模型并进行优化。核心创新是一个巨核,它将全部 62 个解码器层作为单个 Pallas 程序执行,从而能够持续从 HBM 流式读取权重,并让数据传输与计算重叠。关键技术包括:将集合通信折叠进计算,以流水化处理 all-gather 操作;采用无最大值注意力循环,打破在线 softmax 中的串行依赖;以及通过双循环处理专家,减少寄存器溢出。该系统使单请求解码速度提升 1.94×,并能以每芯片 25,906 tokens/s 处理 1M 上下文轨迹,验证步骤耗时不超过权重流式读取时间的 1.5–1.7×。

💡 Main Points

每台设备将解码或验证步骤中的全部 62 层作为单个 Pallas 程序运行,消除会中断权重流式读取的程序边界,从而实现从 HBM 到 MXU 的连续数据流。

集合通信折叠

将 all-gather 操作折叠进矩阵乘法,使投影计算能够在数据分片到达时立即开始,而不必等待完整的 gather;同时利用 RMS norm 的标量因子可与矩阵乘法交换这一特性。

无最大值注意力循环

通过使用分数有界的 QK 归一化注意力(最大绝对值为 43.8),消除了在线 softmax 中的运行最大值,使各数据块能够独立处理,并在微基准测试中实现 3.9× 的注意力加速。

双循环专家处理

按行数对专家排序,并通过两个独立循环处理,避免处理常见的少行数情况时,负载较重的 8 行变体造成寄存器溢出,使解码延迟降低 13–19%。

KV 写入流水线化

专用内核同时发起所有层的分页读取,并利用双 VMEM 缓冲区让读写操作重叠;在 16 行时,写入耗时从 810 µs 降至 155 µs。

💬 Key Quotes

核心是一个巨核:解码或验证步骤中的全部 62 层都作为一个 Pallas 程序运行,每次权重加载、KV 读取和跨设备传输都在计算过程中以流水线方式执行。

对于一个或两个并发请求,巨核能将每个输出 token 的耗时减半,此时收益最大;随着并发量增加,性能提升幅度会缩小。

Muse Spark 使用没有可学习权重的 RMS norm 对 q 和 k 进行归一化(QK-norm),并为 q 设置固定增益。注意力分数的绝对值不可能超过 43.8,远未达到 f32 中 exp 溢出的范围。

集合通信折叠使矩阵向量乘法能够在数据分片到达时立即开始,而不必像分解后的集合通信矩阵乘法那样等待整个 gather 完成。

📊 Article Meta

AI Screening: 92

Featured: Yes

Source: PyTorch

Author: Haolin Fu, Xiaoyu Zhang, Junyan Xu, Wangyuan Zhang, Haoguang Cai, RadixArk Team

Category: 人工智能

Language: 英文

Read Time: 22 min

Word Count: 5259

Tags:

AI 与智能应用 , 混合专家模型 , 注意力机制 , AI 硬件与芯片 , 数据工程

#AI 与智能应用# 混合专家模型# 注意力机制# AI 硬件与芯片# 数据工程

文章评论(12)

陈皮话梅糖4 天前

很有价值的分享,感谢整理。

回复
逐光而行4 天前

看完了,收获满满,期待更多更新。

回复
月归舟4 天前

整理得太全面了,省了我不少时间。

回复
龙文博4 天前

讲解得很细致,新手也能看懂。

回复
黄小刚4 天前

整理得太全面了,省了我不少时间。

回复
郭超4 天前

看完了,收获满满,期待更多更新。

回复
蓝归舟4 天前

思路清晰,干货满满。

回复
风倚栏4 天前

不错不错,已加入书签。

回复
林拾贝4 天前

看标题就点进来了,内容果然没让人失望。

回复
青柠微凉4 天前

内容翔实,正好需要,先收藏再看。

回复
林观澜4 天前

这个观点很中肯,深有同感。

回复
竹听风4 天前

收藏了,以后慢慢研究。

回复