一次搜索,双重空间:在 PyTorch Helion 中使用 NVIDIA CompileIQ 控制编译器

📌 One-Sentence Summary
Helion 新增了与 NVIDIA CompileIQ 的编译器控制集成,可联合自动调优内核和 PTXAS 设置,带来超越现有 Helion 自动调优的可测量加速。
📝 Summary
本文介绍如何使用 NVIDIA CompileIQ 调优位于 Helion 内核自动调优器下层的高级编译器控制(ACF)。Helion 已能在大量内核参数空间中搜索,例如分块大小、warp 数量和寄存器用量,但 PTXAS 的寄存器分配、指令调度及其他底层决策仍采用默认值。通过将 PTXAS 高级控制项作为独立搜索空间开放,并允许 Helion 自动调优器同时探索两个空间,作者展示了即使对于已被认为「最优」的内核,也能获得显著性能提升。论文详细介绍了搜索方法和统计验证流程,并以 NVFP4 GEMV 内核为案例,展示了其在 GB200 系统上实现 4.7% 的加速。文章还探讨了占用率等替代目标和多目标调优,并说明 CompileIQ 如何通过进化搜索生成可移植的 ACF 文件,以便在后续运行中固定使用。这项工作表明,联合自动调优内核与编译器设置,是一种实用且可复现的方法,能够进一步挖掘现代 GPU 的性能。
💡 Main Points
Helion 现有的自动调优器会优化内核级参数,但 PTXAS 编译器控制项仍保持默认设置。
自动调优器会探索分块大小、warp 数量和寄存器用量,但不会调整 PTXAS 的寄存器分配、指令调度及其他底层决策,因此仍有尚未挖掘的性能提升空间。
CompileIQ 将 PTXAS 高级控制项视为超参数,并能通过进化生成 ACF 文件以提升性能。
CompileIQ 会在 PTXAS 控制空间中进行进化搜索、验证正确性,并输出可移植的 ACF 文件,以便在编译时应用。
联合搜索 Helion 内核配置与 PTXAS 控制项,比顺序调优效果更好,因为两者存在耦合。
内核配置(如 block 大小和阶段数)会影响寄存器压力。联合搜索两个空间,可以避免分别调优时陷入局部最优。
GB200 系统上的实测结果显示,加速最高约为 4.7%,且提升具有统计显著性。
NVFP4 GEMV 内核实现了 1.047× 加速;Welch’s t 检验的 p
CompileIQ 还支持多目标调优和硬件指标调优,例如以占用率为目标,从而拓展优化范围。
通过针对实际占用率或 L1/TEX 吞吐量等指标进行优化,搜索可以生成兼顾运行时间与硬件利用率的 ACF 文件。
💬 Key Quotes
Helion 现在支持这一点;本文将介绍第二个编译器专属空间包含哪些内容,以及为何将它与内核配置空间联合搜索,能让那些已经被认为最优的内核进一步提升性能。
CompileIQ 将编译器控制项的选择视为超参数优化问题。
这一搜索过程的输出是一个 ACF 文件。
在实验误差范围内,两次运行几乎完全相同;两次的 d ≈ 2.5,效应量非常大。
现在需要回答的问题是:如果一个内核已经经过自动调优,并且开发者已尽其所能将其优化到最佳状态,还有没有进一步提升的空间?
📊 Article Meta
AI Screening: 90
Featured: Yes
Source: PyTorch
Author: Aditya Srikanth (NVIDIA), Rupak Roy (NVIDIA), Abhinav Singh (NVIDIA), Jason Ansel (Meta), Clement Anthonioz-Blanc (Meta) and Jongsok Choi (Meta)
Category: 人工智能
Language: 英文
Read Time: 14 min
Word Count: 3491
Tags:
AI 与智能应用 , 性能优化 , AI 工程 , PyTorch , NVIDIA
路过
内容翔实,正好需要,先收藏再看。
看标题就点进来了,内容果然没让人失望。
这个比较实用,已转发给同事。
不错不错,已加入书签。
支持作者,持续关注中。
路过
看完了,收获满满,期待更多更新。
写得挺用心的,支持一下。
有没有更详细的教程,期待后续。
整理得太全面了,省了我不少时间。
看标题就点进来了,内容果然没让人失望。