NVIDIA CUDA 13.5 正式支持 NVIDIA Vera Rubin

📌 One-Sentence Summary
CUDA 13.5 正式支持 NVIDIA Vera Rubin GPU,并带来本地域增强、支持加权时间片和负载均衡的 MPS v3、CUDA Tile 多 GPU 通信,以及包括面向 AI 的 Nsight Perf SDK 在内的扩展开发者工具。
📝 Summary
CUDA 13.5 正式支持 NVIDIA Vera Rubin 架构,使企业能够将其用于生产部署。主要增强包括本地域改进,让应用能够利用跨分区的所有可用 SM;以及 MPS v3,新增加权时间片、SM 分区负载均衡、基于 cgroup 的路由和基于轮询的内存记账。此版本还为 CUDA graphs 引入批量 1D 拷贝,为 Rubin GPU 提供 Windows 驱动模式(WDDM 和 MCDM),并对 CUDA Tile 进行了重大更新,包括通过单播/多播指针实现多 GPU 通信,以及 Tile 与 SIMT 的互操作。CUDA Python 1.2 新增批量内存拷贝、从 Python 使用 PDL,以及灵活的 CUDA Graph 更新。CCCL 3.5 引入 CUB 公共调优 API、批量 Top-K 选择、可复现的浮点扫描,以及数据依赖型归约。新增开发者工具包括公开预览版的面向 AI 的 Nsight Perf SDK、Nsight Compute 2026.4 时间线页面、CUDA-GDB 增强功能,以及 Compute Sanitizer 智能体技能。
💡 Main Points
CUDA 13.5 正式支持 NVIDIA Vera Rubin GPU,使其从早期开发者访问阶段迈入企业生产就绪阶段。
这标志着 Vera Rubin 支持正式发布。组织现在可以在最新的 NVIDIA GPU 架构上部署生产工作负载,并获得完整的 CUDA 工具包兼容性。
CUDA 13.5 的本地域增强功能让应用可以选择使用均匀的 SM 分区,也可以使用包含各本地域内所有可用 SM 的分区。
新的 cudaDevSmResourceGroupLocalityDomainSupplementalSms 标志可在跨本地域进行分区时充分利用 GPU 硬件,让用户能够在可预测的统一分区大小和最大化硬件利用率之间灵活选择。
MPS v3 新增加权时间片、SM 分区负载均衡、基于 cgroup 的路由和基于轮询的内存记账,改善 GPU 资源管理。
这些功能可以精细控制工作负载共享 GPU 资源的方式,提升性能隔离能力,支持在分区之间动态借用和出借资源,并让容器化环境中的内存记账更加可靠。
CUDA 13.5 中的 CUDA Tile 新增多 GPU 通信能力,以及 Tile 与 SIMT 的互操作功能,支持更先进的并行计算模式。
单播/多播指针支持跨 NVLink 连接的 GPU 直接访问内存;互操作预览版则允许 Tile 内核直接调用 SIMT 库函数,从而实现融合操作并减少数据搬移。
CCCL 3.5 引入 CUB 公共调优 API、批量 Top-K 选择、可复现的浮点扫描,以及可在 GPU 上执行的数据依赖型归约。
这些新增功能让开发者能够精细控制算法执行参数,并支持在文本生成期间选择 token 等 AI 工作负载,处理大小和 K 值可变的分段。
💬 Key Quotes
CUDA 13.5 为多个重要的新平台带来正式可用(GA)支持。NVIDIA Vera Rubin 支持从早期开发者访问阶段迈入正式可用(GA),已可用于企业生产环境。
MPS v3 让你能更灵活地控制工作负载如何共享 GPU,从调度单个服务器到为客户组分配资源皆可实现。
CUDA 13.5 新增对 CUDA Tile 内核直接执行多 GPU 通信的支持,从而能够实现融合矩阵乘法和跨 GPU 归约。
Top-K 选择是 AI 工作负载中的一项重要操作,应用场景包括文本生成期间的 token 选择,以及为稀疏注意力选择相关 token。
📊 Article Meta
AI Screening: 88
Source: NVIDIA Technical Blog
Author: Shara Tibken
Category: 人工智能
Language: 英文
Read Time: 14 min
Word Count: 3259
Tags:
AI 与智能应用 , AI 工程 , 性能优化 , 模型训练与推理 , AI 硬件与芯片
内容翔实,正好需要,先收藏再看。
点赞,必须点赞
刚好最近在找这方面的资料,太及时了。
这篇文章分析得很透彻,收藏了!
赞同,实践出真知。
支持作者,持续关注中。
路过
路过
讲解得很细致,新手也能看懂。
点赞,必须点赞
楼主辛苦了,内容很有参考价值。
实测过类似工具,作者说的基本属实。