RadixArk Miles 在 NVIDIA Vera CPU 上运行智能体强化学习训练:沙箱更快,训练更快

AI小蝌蚪行业资讯📡 BestBlogs·全站精选⭐ 922026-11-141243 阅读💛 239 收藏
RadixArk Miles 在 NVIDIA Vera CPU 上运行智能体强化学习训练:沙箱更快,训练更快

📌 One-Sentence Summary

RadixArk Miles 展示了 NVIDIA Vera CPU 如何通过满负载运行沙箱加速智能体强化学习训练:与 AMD EPYC Turin 和 Intel Xeon 6 相比,单个训练回合缩短 12%,吞吐量最高提升至 2.1 倍。

📝 Summary

RadixArk 与 NVIDIA 合作,在 NVIDIA Vera CPU 上运行 Miles——一个面向 LLM 和 VLM 的开源强化学习后训练框架,并让所有沙箱都在 Vera CPU 上运行。这是首次公开展示在 Vera CPU 服务器上使用沙箱进行端到端智能体强化学习训练。团队对 Vera、AMD EPYC Turin 和 Intel Xeon 6 进行了系统比较,发现即使处于满负载状态,Vera 也能快速运行沙箱;随着训练规模扩大和推理速度提升,Vera 的优势还会进一步增长。每个 Vera 插槽同时运行 176 个训练回合时,命令执行速度比 x86 处理器快 12%。关键在于,沙箱执行速度提升不仅能缩短训练回合,还能通过提供更新鲜的样本、减少 GPU 内存浪费,以及缩短每组中最慢训练回合的等待时间,提高训练效率。

💡 Main Points

满负载运行沙箱时,NVIDIA Vera CPU 的表现优于 x86 处理器

每个插槽同时运行 176 个训练回合时,Vera 执行命令的速度比 AMD EPYC Turin 快 12%;在单个沙箱负载下,比 Intel Xeon 6 快 29%-50%。满负载时,Vera 每个核心的速度仅下降 5%-22%,而 Turin 核心的速度会下降 40%-70%。

更快的沙箱通过缩短训练回合提升强化学习训练效率

训练回合缩短后,训练样本更新鲜;因 KV 缓存空闲导致的 GPU 内存浪费减少 34%(12.1% vs 17.9%);每组中最慢训练回合的等待时间也缩短 38%-52%。

在延迟限制下,Vera 的吞吐能力扩展性显著优于 x86

在 1.5x 的延迟上限内,一个 Vera 插槽可承载的负载是 Xeon 6 的 1.3-2.1 倍、Turin 的 1.4-2.1 倍,因此使用相同的 CPU 基础设施即可运行规模更大的训练任务。

推理速度越快,性能差距越大

推理速度提升 8x 时,使用 Turin 运行沙箱的训练回合耗时会比 Vera 长 33%;推理速度提升 32x 时,差距扩大到 41%,因此 CPU 性能对训练效率的影响日益关键。

💬 Key Quotes

即使处于满负载状态,Vera 也能快速运行沙箱;训练规模越大、推理速度越快,它的优势就越明显。

在一个 Vera 插槽上同时运行 176 个训练回合(每个硬件线程运行一个)时,它执行命令的速度仍然快于只运行 24 个训练回合的 Turin,也快于只运行 48 个训练回合的 Xeon 6。

沙箱越快,达到目标质量所需的时间就越短。通过在 NVIDIA Vera 上运行沙箱,使用 RadixArk Miles 的团队能在相同时间内完成更多训练回合,并获得更多符合当前策略的数据,因此可以在相同 GPU 上用更短时间将智能体模型训练到相同质量。

两种情况下模型的思考时间相同,因此几乎所有差异都来自沙箱中的工作。

缩短训练回合可以加快训练,而无需付出这种代价:Vera 上的训练回合缩短 11%,在样本陈旧度相同的情况下,训练速度最高可提升 12%。

📊 Article Meta

AI Screening: 92

Featured: Yes

Source: LMSYS Blog

Author: RadixArk Miles Team

Category: 人工智能

Language: 英文

Read Time: 11 min

Word Count: 2612

Tags:

AI 与智能应用 , AI 硬件与芯片 , 强化学习 , 系统设计 , 模型训练与推理

#AI 与智能应用# AI 硬件与芯片# 强化学习# 系统设计# 模型训练与推理

文章评论(12)

星知秋1 天前

刚好最近在找这方面的资料,太及时了。

回复
墨沐雨1 天前

看完了,收获满满,期待更多更新。

回复
南山客1 天前

内容翔实,正好需要,先收藏再看。

回复
风倚栏1 天前

很有价值的分享,感谢整理。

回复
雪影1 天前

看完了,收获满满,期待更多更新。

回复
逐光而行1 天前

支持作者,持续关注中。

回复
空向阳1 天前

这个比较实用,已转发给同事。

回复
林拾贝1 天前

这篇文章分析得很透彻,收藏了!

回复
晨沐雨1 天前

不错不错,已加入书签。

回复
蓝光1 天前

讲解得很细致,新手也能看懂。

回复
曹浩1 天前

写得挺用心的,支持一下。

回复
林观澜1 天前

这个比较实用,已转发给同事。

回复