RadixArk Miles 在 NVIDIA Vera CPU 上运行智能体强化学习训练:沙箱更快,训练更快
📌 One-Sentence Summary
RadixArk Miles 展示了 NVIDIA Vera CPU 如何通过满负载运行沙箱加速智能体强化学习训练:与 AMD EPYC Turin 和 Intel Xeon 6 相比,单个训练回合缩短 12%,吞吐量最高提升至 2.1 倍。
📝 Summary
RadixArk 与 NVIDIA 合作,在 NVIDIA Vera CPU 上运行 Miles——一个面向 LLM 和 VLM 的开源强化学习后训练框架,并让所有沙箱都在 Vera CPU 上运行。这是首次公开展示在 Vera CPU 服务器上使用沙箱进行端到端智能体强化学习训练。团队对 Vera、AMD EPYC Turin 和 Intel Xeon 6 进行了系统比较,发现即使处于满负载状态,Vera 也能快速运行沙箱;随着训练规模扩大和推理速度提升,Vera 的优势还会进一步增长。每个 Vera 插槽同时运行 176 个训练回合时,命令执行速度比 x86 处理器快 12%。关键在于,沙箱执行速度提升不仅能缩短训练回合,还能通过提供更新鲜的样本、减少 GPU 内存浪费,以及缩短每组中最慢训练回合的等待时间,提高训练效率。
💡 Main Points
满负载运行沙箱时,NVIDIA Vera CPU 的表现优于 x86 处理器
每个插槽同时运行 176 个训练回合时,Vera 执行命令的速度比 AMD EPYC Turin 快 12%;在单个沙箱负载下,比 Intel Xeon 6 快 29%-50%。满负载时,Vera 每个核心的速度仅下降 5%-22%,而 Turin 核心的速度会下降 40%-70%。
更快的沙箱通过缩短训练回合提升强化学习训练效率
训练回合缩短后,训练样本更新鲜;因 KV 缓存空闲导致的 GPU 内存浪费减少 34%(12.1% vs 17.9%);每组中最慢训练回合的等待时间也缩短 38%-52%。
在延迟限制下,Vera 的吞吐能力扩展性显著优于 x86
在 1.5x 的延迟上限内,一个 Vera 插槽可承载的负载是 Xeon 6 的 1.3-2.1 倍、Turin 的 1.4-2.1 倍,因此使用相同的 CPU 基础设施即可运行规模更大的训练任务。
推理速度越快,性能差距越大
推理速度提升 8x 时,使用 Turin 运行沙箱的训练回合耗时会比 Vera 长 33%;推理速度提升 32x 时,差距扩大到 41%,因此 CPU 性能对训练效率的影响日益关键。
💬 Key Quotes
即使处于满负载状态,Vera 也能快速运行沙箱;训练规模越大、推理速度越快,它的优势就越明显。
在一个 Vera 插槽上同时运行 176 个训练回合(每个硬件线程运行一个)时,它执行命令的速度仍然快于只运行 24 个训练回合的 Turin,也快于只运行 48 个训练回合的 Xeon 6。
沙箱越快,达到目标质量所需的时间就越短。通过在 NVIDIA Vera 上运行沙箱,使用 RadixArk Miles 的团队能在相同时间内完成更多训练回合,并获得更多符合当前策略的数据,因此可以在相同 GPU 上用更短时间将智能体模型训练到相同质量。
两种情况下模型的思考时间相同,因此几乎所有差异都来自沙箱中的工作。
缩短训练回合可以加快训练,而无需付出这种代价:Vera 上的训练回合缩短 11%,在样本陈旧度相同的情况下,训练速度最高可提升 12%。
📊 Article Meta
AI Screening: 92
Featured: Yes
Source: LMSYS Blog
Author: RadixArk Miles Team
Category: 人工智能
Language: 英文
Read Time: 11 min
Word Count: 2612
Tags:
AI 与智能应用 , AI 硬件与芯片 , 强化学习 , 系统设计 , 模型训练与推理
刚好最近在找这方面的资料,太及时了。
看完了,收获满满,期待更多更新。
内容翔实,正好需要,先收藏再看。
很有价值的分享,感谢整理。
看完了,收获满满,期待更多更新。
支持作者,持续关注中。
这个比较实用,已转发给同事。
这篇文章分析得很透彻,收藏了!
不错不错,已加入书签。
讲解得很细致,新手也能看懂。
写得挺用心的,支持一下。
这个比较实用,已转发给同事。