PyTorch 2.15 中的 MPS

林知秋AI 前沿📡 BestBlogs·AI高分精选⭐ 902026-10-20263 阅读💛 262 收藏
PyTorch 2.15 中的 MPS

📌 One-Sentence Summary

PyTorch 1.15 为 Apple Silicon 上的 MPS 带来了多项显著性能优化,包括 FP8 支持、借助 Metal 内核加速 LLM 解码,以及降低视频生成的内存占用。

📝 Summary

PyTorch 1.15 通过以专用 Metal 内核取代 MPSGraph,致力于让 Mac 成为运行 AI 模型的一流环境。主要更新包括引入 FP8 权重以节省内存,为 MoE 模型提供原生分组矩阵乘法、将解码速度提升 5-6.5 倍,以及一项关键的常量填充调整:Wan2.2 VAE 解码的内存占用从 270GB 降至 8GB。该版本还预告了 PyTorch 1.16 的方向:将注意力计算完全迁移至 Metal。

💡 Main Points

Mac 开始支持 FP8

PyTorch 1.15 新增了 float8_e4m3fn 张量,其内存占用只有 BF16 的一半,并可通过 F.scaled_mm 使用。

MoE 模型的速度显著提升

原生分组矩阵乘法和专用解码路径,让 Qwen3.6-35B-A3B 等模型在 M3 Ultra 上的速度从 9.4 tokens/s 提升至 61.3 tokens/s。

视频解码的内存占用大幅降低

常量填充调整使 Wan2.2 分块 VAE 解码的峰值内存占用从 270GB 降至 8GB。

线性代数和 softmax 优化

LU 分解、三角方程求解和 artwork 的新 Metal 内核,在大词表场景下最高可带来 8 倍加速。

展望 PyTorch 1.16

后续版本计划将缩放点积注意力完全迁移至 Metal,从而消除对 MPSGraph 的回退调用。

💬 Key Quotes

目标是让 Mac 成为运行和训练 PyTorch 模型的一流平台。

FP8 张量的内存占用只有 BF16 的一半。

过去,Wan2.2 的分块 VAE 解码会将驱动程序内存占用推高至 270 GB;如今峰值约为 8 GB。

📊 Article Meta

AI Screening: 90

Source: Hugging Face - Blog

Author: Irakli Salia, Khushi Agrawal

Category: 软件编程

Language: 英文

Read Time: 9 min

Word Count: 2120

Tags:

编程与工程 , Apple 芯片 , AI 工程 , 机器学习 , 混合专家模型

#编程与工程# Apple 芯片# AI 工程# 机器学习# 混合专家模型

文章评论(12)

蒋力26 天前

赞同,实践出真知。

回复
蒋力26 天前

这篇文章分析得很透彻,收藏了!

回复
蒋力26 天前

有没有更详细的教程,期待后续。

回复
风拾光26 天前

看标题就点进来了,内容果然没让人失望。

回复
曹浩26 天前

看标题就点进来了,内容果然没让人失望。

回复
龙文博26 天前

看完了,收获满满,期待更多更新。

回复
林拾贝26 天前

点赞,必须点赞

回复
星知秋26 天前

楼主辛苦了,内容很有参考价值。

回复
崔欣怡26 天前

整理得太全面了,省了我不少时间。

回复
林拾贝26 天前

赞同,实践出真知。

回复
松听风26 天前

这个比较实用,已转发给同事。

回复
晨沐雨26 天前

刚好最近在找这方面的资料,太及时了。

回复