PyTorch 2.15 发布博客

山止川行AI 前沿📡 BestBlogs·AI高分精选⭐ 932026-10-29893 阅读💛 71 收藏
PyTorch 2.15 发布博客

📌 One-Sentence Summary

PyTorch 2.15 在分布式训练方面带来重大改进,包括重写的 NCCL 后端和单边传输,同时提升了低精度解码性能,并扩展了对 Apple Silicon 和 ROCm 的平台支持。

📝 Summary

PyTorch 2.15 版本引入了重写的 NCCL 后端并成为默认选项,通过飞行记录器提供更好的调试能力。它为 torch.distributed 引入了单边传输,并在 FSDP2 和流水线中提供了对内存和通信的更精细控制。该版本还包括在 NVIDIA Blackwell GPU 上更快的 4 位解码、对 Apple Silicon 的增强 FP8 支持,以及对 ROCm 10.0 和 Python 3.15 的更广泛平台兼容性。

💡 Main Points

重写的 NCCL 后端

新的 NCCL 后端现在是所有 nccl 进程组的默认选项,通过飞行记录器在挂起时转储数据,提供更好的调试能力。它还支持急切通信器创建和快速路径重配置以实现容错。

新的 Python 传输 API 允许单边数据移动,NIXL 后端支持可被 CUDA 图捕获的传输。这简化了分布式通信的设置,无需完整的进程组。

FSDP2 与流水线增强

FSDP2 现在允许混合精度策略将特定参数保持为 fp32,而流水线经过优化以减少内存使用并改善通信重叠,使其适合 CUDA 图捕获。

低精度解码

该版本包括在 NVIDIA Blackwell GPU 上对 4 位(NVFP4)解码的优化,利用 NVGEMM 减少内核启动并提高吞吐量。Apple Silicon 也获得了对 FP8 和更快解码路径的支持。

扩展的平台支持

PyTorch 2.15 将支持扩展到新的硬件和软件,包括 AMD gfx950 上的 FlyDSL 内核、ROCm 10.0 wheel 包,以及针对 Intel GPU 的改进 SYCL 内核编写。它还将默认 CUDA 版本更新为 13.2。

💬 Key Quotes

重写的 NCCL 后端现在支持每个「nccl」进程组,并提供「TORCH_DIST_USE_NCCL2=0」和「nccl-legacy」后端名称作为回滚路径。

FSDP2 现在对精度和捕获提供更精细的控制。精度敏感的参数,如 MoE 路由门和归一化权重,可以保持为 fp32,而模型其余部分以 bf16 训练。

NVGEMM,即 2.14 中引入的 CuTeDSL GEMM 后端,现在将 ModelOpt NVFP4 线性层的标量反量化因子折叠到 GEMM 中,在解码期间消除了每层单独的逐点启动。

「torch.float8_e4m3fn」现在在 MPS 上受支持,同时支持张量级或行级缩放的「_scaled_mm」以及针对解码尺寸形状的 gemv 快速路径。

默认 PyTorch wheel 包迁移到 CUDA 13.2(13.2.2 工具包),同时为 Linux x86_64、Linux aarch64 和 Windows 提供 CUDA 13.4 GA wheel 包。

📊 Article Meta

AI Screening: 93

Source: PyTorch

Author: PyTorch Foundation

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2135

Tags:

AI 与智能应用 , Apple 芯片 , 模型发布 , 后端开发 , 编程语言

#AI 与智能应用# Apple 芯片# 模型发布# 后端开发# 编程语言

文章评论(12)

山问津18 天前

讲解得很细致,新手也能看懂。

回复
风拾光18 天前

整理得太全面了,省了我不少时间。

回复
曹浩18 天前

路过

回复
星寻梦18 天前

很有价值的分享,感谢整理。

回复
墨沐雨18 天前

这篇文章分析得很透彻,收藏了!

回复
杨丽华18 天前

实话,说的不明不白

回复
林观澜18 天前

这个比较实用,已转发给同事。

回复
北岛渔夫18 天前

看完了,收获满满,期待更多更新。

回复
石佳琪18 天前

看标题就点进来了,内容果然没让人失望。

回复
雪知秋18 天前

这篇文章分析得很透彻,收藏了!

回复
星知秋18 天前

收藏了,以后慢慢研究。

回复
竹听风17 天前

收藏了,以后慢慢研究。

回复