GPU 内核,第 2 部分:通过 SFT 和 GPU 训练场教会 27B 模型编写 Triton 内核

山止川行AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-11-04395 阅读💛 118 收藏
GPU 内核,第 2 部分:通过 SFT 和 GPU 训练场教会 27B 模型编写 Triton 内核

📌 One-Sentence Summary

本文详细介绍了一套两阶段训练流程,通过监督微调和强化学习,让 27B 语言模型生成的 Triton GPU 内核在 KernelBench 上超越 PyTorch 基线。

📝 Summary

本文介绍了一种两阶段训练方法,以提升 27B 语言模型编写 Triton GPU 内核的能力。首先,使用 2,034 个经过 NVIDIA H100 验证的高质量内核进行监督微调;随后,在一个自动化 GPU 训练场中进行强化学习,由训练场编译、验证并基准测试每个候选内核。结果显示,整体正确率从 21.5% 提高到 29.5%,快于即时模式 PyTorch 的内核占比则从 7.0% 上升到 9.5%。第 1 级(独立算子)的提升最大,而第 2 级(复合模块)的进步有限。文章还讨论了数据集筛选、训练场架构、奖励设计,以及模型与前沿商业模型之间的性能差距。

💡 Main Points

采用 SFT 和 RL 的两阶段训练流程

模型先通过 2,034 个经过验证的 Triton 内核进行微调,再在自动化 GPU 训练场中通过强化学习进一步优化;训练场会评估内核的编译结果、正确性和性能。

KernelBench 指标显著提升

整体正确率从 21.5% 提高到 29.5%,快于即时模式 PyTorch 的内核占比从 7.0% 上升到 9.5%。第 1 级算子的提升最明显,而第 2 级复合模块的表现则停滞不前。

严格筛选数据集,模拟真实 GPU 工作负载

研究团队筛选并扩展了公开内核数据集,使其适用于 H100 上的生产级工作负载;同时剔除玩具示例,并要求实现必须纯粹使用 Triton,以确保训练数据具有实际意义。

自动化内核训练场支持多轮修复

训练场支持单轮和多轮训练流程,模型可以利用编译器反馈反复调试和改进内核;在修复模式下,成功率更高。

与前沿商业模型相比仍有性能差距

尽管模型性能有所提升,商业模型仍明显领先,表明基于 LLM 的内核生成还有很大的进步空间。

💬 Key Quotes

整体正确率从 21.5% 提高到 29.5%

同时满足数学正确且快于即时模式 PyTorch 的内核占比从 7.0% 上升到 9.5%

第 1 级正确内核数量从 31 个跃升至 47 个

最终数据集包含 2,034 组经过验证的配对样本

前沿商业模型仍然大幅领先

📊 Article Meta

AI Screening: 85

Source: DEV Community: machinelearning

Author: Aleksei Romanov

Category: 人工智能

Language: 英文

Read Time: 17 min

Word Count: 4121

Tags:

AI 与智能应用 , AI 工程 , 性能优化 , 强化学习 , AI 硬件与芯片

#AI 与智能应用# AI 工程# 性能优化# 强化学习# AI 硬件与芯片

文章评论(12)

曹浩12 天前

内容翔实,正好需要,先收藏再看。

回复
月沐雨12 天前

写得挺用心的,支持一下。

回复
墨向阳12 天前

这个比较实用,已转发给同事。

回复
陈皮话梅糖12 天前

很有价值的分享,感谢整理。

回复
墨沐雨12 天前

这个比较实用,已转发给同事。

回复
杨丽华12 天前

内容翔实,正好需要,先收藏再看。

回复
风拾光12 天前

内容翔实,正好需要,先收藏再看。

回复
蓝问津12 天前

实话,说的不明不白

回复
雪影12 天前

赞同,实践出真知。

回复
星寻梦12 天前

这篇文章分析得很透彻,收藏了!

回复
雪影12 天前

讲解得很细致,新手也能看懂。

回复
蓝光12 天前

思路清晰,干货满满。

回复