借助 NVIDIA cuBLAS 全新 FP64 算法加速科学模拟

溪行者AI 前沿📡 BestBlogs·AI高分精选⭐ 902026-11-14752 阅读💛 158 收藏
借助 NVIDIA cuBLAS 全新 FP64 算法加速科学模拟

📌 One-Sentence Summary

本文介绍 NVIDIA cuBLAS 中的全新 FP64 算法:通过利用整数 Tensor Core,在现代 GPU 上实现完整的双精度精度,并将科学模拟速度提升 5.5x 至 23x。

📝 Summary

CUDA Toolkit 13.4.2 中的 NVIDIA cuBLAS 引入了用于加速双精度(FP64)矩阵乘法(DGEMM 和 ZGEMM)的新算法:将 FP64 数值拆解为整数片段,并利用速度更快的整数 Tensor Core 进行计算。Ozaki-II 算法在 Ozaki-I 的基础上改进,利用中国剩余定理将所需 Tensor Core GEMM 的数量从二次增长降至线性增长;在 NVIDIA Rubin NVL72、GB200 和 RTX PRO 6000 上,其速度比原生 FP64 快 5.5x 至 23x。用于复数矩阵乘法的 2M 方法将 4 次实数 GEMM 减少到 2 次,使 ZGEMM 提速 5x。应用基准测试显示,量子化学(CCSD)端到端速度提升 2x 至 11.5x,材料科学(BerkeleyGW)提升 3.9x 至 6.6x。当精度要求超出算法能力时,系统会自动回退到原生 FP64,确保数值可靠性。

💡 Main Points

cuBLAS 利用整数 Tensor Core 加速 FP64 GEMM 运算,同时通过拆解并重组浮点数保留完整的双精度精度。

系统将每个双精度数拆解为整数片段,在 Tensor Core 上进行乘法,再将结果重组为精确结果;在现代 NVIDIA GPU 上,速度比原生 FP64 快 5.5x 至 23x。

Ozaki-II 算法利用中国剩余定理,将 Tensor Core GEMM 的数量从二次增长降至线性增长,性能最高比 Ozaki-I 快 2x。

该算法将每个量化后的操作数分别对一组两两互质的小整数取模,并针对每个模数执行一次 GEMM。与 Ozaki-I 的三角形切片乘法模式相比,Ozaki-II 在精度要求提高时扩展性更好。

2M 方法将复数矩阵乘法所需的实数 GEMM 从 4 次减少到 2 次,使 ZGEMM 运算提速 5x。

在 Ozaki-II 的精确整数运算中,加法和减法均可精确进行,因此 2M 算法只需 2 次实数 GEMM,而不是 4 次,即可计算复数乘积,将计算成本减半。

应用基准测试显示,量子化学(CCSD)端到端速度提升 2x 至 11.5x,材料科学(BerkeleyGW)提升 3.9x 至 6.6x。

在 Rubin 上运行的 CCSD 计算,在完整 FP64 精度下提速 4.7x,在 32 位尾数预算下提速 11.5x;与原生 ZGEMM 相比,BerkeleyGW 的 Epsilon 模块在 VR NVL72 上提速 5.8x。

当精度要求超出算法能力时,cuBLAS 会自动回退到原生 FP64,确保数值可靠性。

如果所需尾数位数超出库的默认值或用户设定的上限,cuBLAS 就会切换到原生 FP64 MMA 指令,从而支持安全地部署到生产环境,而不必担心精度问题。

💬 Key Quotes

「cuBLAS 不再需要在精度和速度之间二选一。cuBLAS 会将每个双精度数拆解为整数片段,在 GPU 的 Tensor Core 上进行乘法,再将结果重组为精确结果。」

「Ozaki-II 使用一种基于中国剩余定理(CRT)的更快大整数乘法算法。它将每个量化后的操作数分别对一组两两互质的小整数取模,针对每个模数恰好执行一次整数 GEMM,再根据余数重建精确乘积。」

「2M 算法只需 2 次实数 GEMM,而不是 4 次,就能计算复数乘积。最终,ZGEMM 的计算成本约为同等规模实数 GEMM 的 2 倍,而不是 4 倍。」

「在 NVIDIA VR NVL72 和 NVIDIA GB200 上,采用 Ozaki-II 的 cuBLAS DGEMM 分别比原生 FP64 快 5.5x 和 3.9x。」

「如果运行时为保持 FP64 等效精度所需的尾数位数超过库的默认值或用户设定的上限,cuBLAS 就会回退到使用原生 FP64 MMA 指令的代码路径。」

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: NVIDIA Technical Blog

Author: Cole Brower

Category: 人工智能

Language: 英文

Read Time: 9 min

Word Count: 2109

Tags:

AI 与智能应用 , AI 硬件与芯片 , AI 工程 , 性能优化 , 材料科学

#AI 与智能应用# AI 硬件与芯片# AI 工程# 性能优化# 材料科学

文章评论(12)

雪影1 天前

楼主辛苦了,内容很有参考价值。

回复
武磊1 天前

点赞,必须点赞

回复
龙文博1 天前

点赞,必须点赞

回复
龙文博1 天前

点赞,必须点赞

回复
竹听风1 天前

点赞,必须点赞

回复
晨沐雨1 天前

内容翔实,正好需要,先收藏再看。

回复
邱文博1 天前

实话,说的不明不白

回复
邱文博1 天前

这个比较实用,已转发给同事。

回复
石佳琪1 天前

不错不错,已加入书签。

回复
林观澜1 天前

讲解得很细致,新手也能看懂。

回复
墨向阳1 天前

不错不错,已加入书签。

回复
青柠微凉1 天前

楼主辛苦了,内容很有参考价值。

回复