PyTorch 2.15 发布博客

📌 One-Sentence Summary
PyTorch 2.15 在分布式训练方面带来重大改进,包括重写的 NCCL 后端和单边传输,同时提升了低精度解码性能,并扩展了对 Apple Silicon 和 ROCm 的平台支持。
📝 Summary
PyTorch 2.15 版本引入了重写的 NCCL 后端并成为默认选项,通过飞行记录器提供更好的调试能力。它为 torch.distributed 引入了单边传输,并在 FSDP2 和流水线中提供了对内存和通信的更精细控制。该版本还包括在 NVIDIA Blackwell GPU 上更快的 4 位解码、对 Apple Silicon 的增强 FP8 支持,以及对 ROCm 10.0 和 Python 3.15 的更广泛平台兼容性。
💡 Main Points
重写的 NCCL 后端
新的 NCCL 后端现在是所有 nccl 进程组的默认选项,通过飞行记录器在挂起时转储数据,提供更好的调试能力。它还支持急切通信器创建和快速路径重配置以实现容错。
新的 Python 传输 API 允许单边数据移动,NIXL 后端支持可被 CUDA 图捕获的传输。这简化了分布式通信的设置,无需完整的进程组。
FSDP2 与流水线增强
FSDP2 现在允许混合精度策略将特定参数保持为 fp32,而流水线经过优化以减少内存使用并改善通信重叠,使其适合 CUDA 图捕获。
低精度解码
该版本包括在 NVIDIA Blackwell GPU 上对 4 位(NVFP4)解码的优化,利用 NVGEMM 减少内核启动并提高吞吐量。Apple Silicon 也获得了对 FP8 和更快解码路径的支持。
扩展的平台支持
PyTorch 2.15 将支持扩展到新的硬件和软件,包括 AMD gfx950 上的 FlyDSL 内核、ROCm 10.0 wheel 包,以及针对 Intel GPU 的改进 SYCL 内核编写。它还将默认 CUDA 版本更新为 13.2。
💬 Key Quotes
重写的 NCCL 后端现在支持每个「nccl」进程组,并提供「TORCH_DIST_USE_NCCL2=0」和「nccl-legacy」后端名称作为回滚路径。
FSDP2 现在对精度和捕获提供更精细的控制。精度敏感的参数,如 MoE 路由门和归一化权重,可以保持为 fp32,而模型其余部分以 bf16 训练。
NVGEMM,即 2.14 中引入的 CuTeDSL GEMM 后端,现在将 ModelOpt NVFP4 线性层的标量反量化因子折叠到 GEMM 中,在解码期间消除了每层单独的逐点启动。
「torch.float8_e4m3fn」现在在 MPS 上受支持,同时支持张量级或行级缩放的「_scaled_mm」以及针对解码尺寸形状的 gemv 快速路径。
默认 PyTorch wheel 包迁移到 CUDA 13.2(13.2.2 工具包),同时为 Linux x86_64、Linux aarch64 和 Windows 提供 CUDA 13.4 GA wheel 包。
📊 Article Meta
AI Screening: 93
Source: PyTorch
Author: PyTorch Foundation
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2135
Tags:
AI 与智能应用 , Apple 芯片 , 模型发布 , 后端开发 , 编程语言
讲解得很细致,新手也能看懂。
整理得太全面了,省了我不少时间。
路过
很有价值的分享,感谢整理。
这篇文章分析得很透彻,收藏了!
实话,说的不明不白
这个比较实用,已转发给同事。
看完了,收获满满,期待更多更新。
看标题就点进来了,内容果然没让人失望。
这篇文章分析得很透彻,收藏了!
收藏了,以后慢慢研究。
收藏了,以后慢慢研究。