一次搜索,双重空间:在 PyTorch Helion 中使用 NVIDIA CompileIQ 控制编译器

邱宇行业资讯📡 BestBlogs·全站精选⭐ 902026-10-20567 阅读💛 63 收藏
一次搜索,双重空间:在 PyTorch Helion 中使用 NVIDIA CompileIQ 控制编译器

📌 One-Sentence Summary

Helion 新增了与 NVIDIA CompileIQ 的编译器控制集成,可联合自动调优内核和 PTXAS 设置,带来超越现有 Helion 自动调优的可测量加速。

📝 Summary

本文介绍如何使用 NVIDIA CompileIQ 调优位于 Helion 内核自动调优器下层的高级编译器控制(ACF)。Helion 已能在大量内核参数空间中搜索,例如分块大小、warp 数量和寄存器用量,但 PTXAS 的寄存器分配、指令调度及其他底层决策仍采用默认值。通过将 PTXAS 高级控制项作为独立搜索空间开放,并允许 Helion 自动调优器同时探索两个空间,作者展示了即使对于已被认为「最优」的内核,也能获得显著性能提升。论文详细介绍了搜索方法和统计验证流程,并以 NVFP4 GEMV 内核为案例,展示了其在 GB200 系统上实现 4.7% 的加速。文章还探讨了占用率等替代目标和多目标调优,并说明 CompileIQ 如何通过进化搜索生成可移植的 ACF 文件,以便在后续运行中固定使用。这项工作表明,联合自动调优内核与编译器设置,是一种实用且可复现的方法,能够进一步挖掘现代 GPU 的性能。

💡 Main Points

Helion 现有的自动调优器会优化内核级参数,但 PTXAS 编译器控制项仍保持默认设置。

自动调优器会探索分块大小、warp 数量和寄存器用量,但不会调整 PTXAS 的寄存器分配、指令调度及其他底层决策,因此仍有尚未挖掘的性能提升空间。

CompileIQ 将 PTXAS 高级控制项视为超参数,并能通过进化生成 ACF 文件以提升性能。

CompileIQ 会在 PTXAS 控制空间中进行进化搜索、验证正确性,并输出可移植的 ACF 文件,以便在编译时应用。

联合搜索 Helion 内核配置与 PTXAS 控制项,比顺序调优效果更好,因为两者存在耦合。

内核配置(如 block 大小和阶段数)会影响寄存器压力。联合搜索两个空间,可以避免分别调优时陷入局部最优。

GB200 系统上的实测结果显示,加速最高约为 4.7%,且提升具有统计显著性。

NVFP4 GEMV 内核实现了 1.047× 加速;Welch’s t 检验的 p

CompileIQ 还支持多目标调优和硬件指标调优,例如以占用率为目标,从而拓展优化范围。

通过针对实际占用率或 L1/TEX 吞吐量等指标进行优化,搜索可以生成兼顾运行时间与硬件利用率的 ACF 文件。

💬 Key Quotes

Helion 现在支持这一点;本文将介绍第二个编译器专属空间包含哪些内容,以及为何将它与内核配置空间联合搜索,能让那些已经被认为最优的内核进一步提升性能。

CompileIQ 将编译器控制项的选择视为超参数优化问题。

这一搜索过程的输出是一个 ACF 文件。

在实验误差范围内,两次运行几乎完全相同;两次的 d ≈ 2.5,效应量非常大。

现在需要回答的问题是:如果一个内核已经经过自动调优,并且开发者已尽其所能将其优化到最佳状态,还有没有进一步提升的空间?

📊 Article Meta

AI Screening: 90

Featured: Yes

Source: PyTorch

Author: Aditya Srikanth (NVIDIA), Rupak Roy (NVIDIA), Abhinav Singh (NVIDIA), Jason Ansel (Meta), Clement Anthonioz-Blanc (Meta) and Jongsok Choi (Meta)

Category: 人工智能

Language: 英文

Read Time: 14 min

Word Count: 3491

Tags:

AI 与智能应用 , 性能优化 , AI 工程 , PyTorch , NVIDIA

#AI 与智能应用# 性能优化# AI 工程# PyTorch# NVIDIA

文章评论(12)

蓝归舟26 天前

路过

回复
雪影26 天前

内容翔实,正好需要,先收藏再看。

回复
南山客26 天前

看标题就点进来了,内容果然没让人失望。

回复
青柠微凉26 天前

这个比较实用,已转发给同事。

回复
杨丽华26 天前

不错不错,已加入书签。

回复
一个橘子26 天前

支持作者,持续关注中。

回复
晨沐雨26 天前

路过

回复
龙文博26 天前

看完了,收获满满,期待更多更新。

回复
蓝临风26 天前

写得挺用心的,支持一下。

回复
邱文博26 天前

有没有更详细的教程,期待后续。

回复
蓝光26 天前

整理得太全面了,省了我不少时间。

回复
北岛渔夫26 天前

看标题就点进来了,内容果然没让人失望。

回复