GPU 内核,第 2 部分:通过 SFT 和 GPU 训练场教会 27B 模型编写 Triton 内核

📌 One-Sentence Summary
本文详细介绍了一套两阶段训练流程,通过监督微调和强化学习,让 27B 语言模型生成的 Triton GPU 内核在 KernelBench 上超越 PyTorch 基线。
📝 Summary
本文介绍了一种两阶段训练方法,以提升 27B 语言模型编写 Triton GPU 内核的能力。首先,使用 2,034 个经过 NVIDIA H100 验证的高质量内核进行监督微调;随后,在一个自动化 GPU 训练场中进行强化学习,由训练场编译、验证并基准测试每个候选内核。结果显示,整体正确率从 21.5% 提高到 29.5%,快于即时模式 PyTorch 的内核占比则从 7.0% 上升到 9.5%。第 1 级(独立算子)的提升最大,而第 2 级(复合模块)的进步有限。文章还讨论了数据集筛选、训练场架构、奖励设计,以及模型与前沿商业模型之间的性能差距。
💡 Main Points
采用 SFT 和 RL 的两阶段训练流程
模型先通过 2,034 个经过验证的 Triton 内核进行微调,再在自动化 GPU 训练场中通过强化学习进一步优化;训练场会评估内核的编译结果、正确性和性能。
KernelBench 指标显著提升
整体正确率从 21.5% 提高到 29.5%,快于即时模式 PyTorch 的内核占比从 7.0% 上升到 9.5%。第 1 级算子的提升最明显,而第 2 级复合模块的表现则停滞不前。
严格筛选数据集,模拟真实 GPU 工作负载
研究团队筛选并扩展了公开内核数据集,使其适用于 H100 上的生产级工作负载;同时剔除玩具示例,并要求实现必须纯粹使用 Triton,以确保训练数据具有实际意义。
自动化内核训练场支持多轮修复
训练场支持单轮和多轮训练流程,模型可以利用编译器反馈反复调试和改进内核;在修复模式下,成功率更高。
与前沿商业模型相比仍有性能差距
尽管模型性能有所提升,商业模型仍明显领先,表明基于 LLM 的内核生成还有很大的进步空间。
💬 Key Quotes
整体正确率从 21.5% 提高到 29.5%
同时满足数学正确且快于即时模式 PyTorch 的内核占比从 7.0% 上升到 9.5%
第 1 级正确内核数量从 31 个跃升至 47 个
最终数据集包含 2,034 组经过验证的配对样本
前沿商业模型仍然大幅领先
📊 Article Meta
AI Screening: 85
Source: DEV Community: machinelearning
Author: Aleksei Romanov
Category: 人工智能
Language: 英文
Read Time: 17 min
Word Count: 4121
Tags:
AI 与智能应用 , AI 工程 , 性能优化 , 强化学习 , AI 硬件与芯片
内容翔实,正好需要,先收藏再看。
写得挺用心的,支持一下。
这个比较实用,已转发给同事。
很有价值的分享,感谢整理。
这个比较实用,已转发给同事。
内容翔实,正好需要,先收藏再看。
内容翔实,正好需要,先收藏再看。
实话,说的不明不白
赞同,实践出真知。
这篇文章分析得很透彻,收藏了!
讲解得很细致,新手也能看懂。
思路清晰,干货满满。