PyTorch 2.15 中的 MPS
📌 One-Sentence Summary
PyTorch 1.15 为 Apple Silicon 上的 MPS 带来了多项显著性能优化,包括 FP8 支持、借助 Metal 内核加速 LLM 解码,以及降低视频生成的内存占用。
📝 Summary
PyTorch 1.15 通过以专用 Metal 内核取代 MPSGraph,致力于让 Mac 成为运行 AI 模型的一流环境。主要更新包括引入 FP8 权重以节省内存,为 MoE 模型提供原生分组矩阵乘法、将解码速度提升 5-6.5 倍,以及一项关键的常量填充调整:Wan2.2 VAE 解码的内存占用从 270GB 降至 8GB。该版本还预告了 PyTorch 1.16 的方向:将注意力计算完全迁移至 Metal。
💡 Main Points
Mac 开始支持 FP8
PyTorch 1.15 新增了 float8_e4m3fn 张量,其内存占用只有 BF16 的一半,并可通过 F.scaled_mm 使用。
MoE 模型的速度显著提升
原生分组矩阵乘法和专用解码路径,让 Qwen3.6-35B-A3B 等模型在 M3 Ultra 上的速度从 9.4 tokens/s 提升至 61.3 tokens/s。
视频解码的内存占用大幅降低
常量填充调整使 Wan2.2 分块 VAE 解码的峰值内存占用从 270GB 降至 8GB。
线性代数和 softmax 优化
LU 分解、三角方程求解和 artwork 的新 Metal 内核,在大词表场景下最高可带来 8 倍加速。
展望 PyTorch 1.16
后续版本计划将缩放点积注意力完全迁移至 Metal,从而消除对 MPSGraph 的回退调用。
💬 Key Quotes
目标是让 Mac 成为运行和训练 PyTorch 模型的一流平台。
FP8 张量的内存占用只有 BF16 的一半。
过去,Wan2.2 的分块 VAE 解码会将驱动程序内存占用推高至 270 GB;如今峰值约为 8 GB。
📊 Article Meta
AI Screening: 90
Source: Hugging Face - Blog
Author: Irakli Salia, Khushi Agrawal
Category: 软件编程
Language: 英文
Read Time: 9 min
Word Count: 2120
Tags:
编程与工程 , Apple 芯片 , AI 工程 , 机器学习 , 混合专家模型
赞同,实践出真知。
这篇文章分析得很透彻,收藏了!
有没有更详细的教程,期待后续。
看标题就点进来了,内容果然没让人失望。
看标题就点进来了,内容果然没让人失望。
看完了,收获满满,期待更多更新。
点赞,必须点赞
楼主辛苦了,内容很有参考价值。
整理得太全面了,省了我不少时间。
赞同,实践出真知。
这个比较实用,已转发给同事。
刚好最近在找这方面的资料,太及时了。