借助 NVIDIA cuBLAS 全新 FP64 算法加速科学模拟

📌 One-Sentence Summary
本文介绍 NVIDIA cuBLAS 中的全新 FP64 算法:通过利用整数 Tensor Core,在现代 GPU 上实现完整的双精度精度,并将科学模拟速度提升 5.5x 至 23x。
📝 Summary
CUDA Toolkit 13.4.2 中的 NVIDIA cuBLAS 引入了用于加速双精度(FP64)矩阵乘法(DGEMM 和 ZGEMM)的新算法:将 FP64 数值拆解为整数片段,并利用速度更快的整数 Tensor Core 进行计算。Ozaki-II 算法在 Ozaki-I 的基础上改进,利用中国剩余定理将所需 Tensor Core GEMM 的数量从二次增长降至线性增长;在 NVIDIA Rubin NVL72、GB200 和 RTX PRO 6000 上,其速度比原生 FP64 快 5.5x 至 23x。用于复数矩阵乘法的 2M 方法将 4 次实数 GEMM 减少到 2 次,使 ZGEMM 提速 5x。应用基准测试显示,量子化学(CCSD)端到端速度提升 2x 至 11.5x,材料科学(BerkeleyGW)提升 3.9x 至 6.6x。当精度要求超出算法能力时,系统会自动回退到原生 FP64,确保数值可靠性。
💡 Main Points
cuBLAS 利用整数 Tensor Core 加速 FP64 GEMM 运算,同时通过拆解并重组浮点数保留完整的双精度精度。
系统将每个双精度数拆解为整数片段,在 Tensor Core 上进行乘法,再将结果重组为精确结果;在现代 NVIDIA GPU 上,速度比原生 FP64 快 5.5x 至 23x。
Ozaki-II 算法利用中国剩余定理,将 Tensor Core GEMM 的数量从二次增长降至线性增长,性能最高比 Ozaki-I 快 2x。
该算法将每个量化后的操作数分别对一组两两互质的小整数取模,并针对每个模数执行一次 GEMM。与 Ozaki-I 的三角形切片乘法模式相比,Ozaki-II 在精度要求提高时扩展性更好。
2M 方法将复数矩阵乘法所需的实数 GEMM 从 4 次减少到 2 次,使 ZGEMM 运算提速 5x。
在 Ozaki-II 的精确整数运算中,加法和减法均可精确进行,因此 2M 算法只需 2 次实数 GEMM,而不是 4 次,即可计算复数乘积,将计算成本减半。
应用基准测试显示,量子化学(CCSD)端到端速度提升 2x 至 11.5x,材料科学(BerkeleyGW)提升 3.9x 至 6.6x。
在 Rubin 上运行的 CCSD 计算,在完整 FP64 精度下提速 4.7x,在 32 位尾数预算下提速 11.5x;与原生 ZGEMM 相比,BerkeleyGW 的 Epsilon 模块在 VR NVL72 上提速 5.8x。
当精度要求超出算法能力时,cuBLAS 会自动回退到原生 FP64,确保数值可靠性。
如果所需尾数位数超出库的默认值或用户设定的上限,cuBLAS 就会切换到原生 FP64 MMA 指令,从而支持安全地部署到生产环境,而不必担心精度问题。
💬 Key Quotes
「cuBLAS 不再需要在精度和速度之间二选一。cuBLAS 会将每个双精度数拆解为整数片段,在 GPU 的 Tensor Core 上进行乘法,再将结果重组为精确结果。」
「Ozaki-II 使用一种基于中国剩余定理(CRT)的更快大整数乘法算法。它将每个量化后的操作数分别对一组两两互质的小整数取模,针对每个模数恰好执行一次整数 GEMM,再根据余数重建精确乘积。」
「2M 算法只需 2 次实数 GEMM,而不是 4 次,就能计算复数乘积。最终,ZGEMM 的计算成本约为同等规模实数 GEMM 的 2 倍,而不是 4 倍。」
「在 NVIDIA VR NVL72 和 NVIDIA GB200 上,采用 Ozaki-II 的 cuBLAS DGEMM 分别比原生 FP64 快 5.5x 和 3.9x。」
「如果运行时为保持 FP64 等效精度所需的尾数位数超过库的默认值或用户设定的上限,cuBLAS 就会回退到使用原生 FP64 MMA 指令的代码路径。」
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: NVIDIA Technical Blog
Author: Cole Brower
Category: 人工智能
Language: 英文
Read Time: 9 min
Word Count: 2109
Tags:
AI 与智能应用 , AI 硬件与芯片 , AI 工程 , 性能优化 , 材料科学
作者写得真不错,学到了不少。
实话,说的不明不白
这个比较实用,已转发给同事。
支持作者,持续关注中。
作者写得真不错,学到了不少。
点赞,必须点赞
收藏了,以后慢慢研究。
赞同,实践出真知。
讲解得很细致,新手也能看懂。
有没有更详细的教程,期待后续。
实话,说的不明不白
这篇文章分析得很透彻,收藏了!