阿里巴巴 Qwen 发布 QwenGyre：面向超长程智能体的弹性强化学习 RL

溪行者AI 前沿📡 BestBlogs·AI高分精选⭐ 852026-10-13101 阅读💛 6 收藏

📌 One-Sentence Summary

阿里巴巴 Qwen 团队推出了 QwenGyre，这是一种针对长程智能体训练的弹性强化学习框架，能够在采样与训练任务之间动态切换 GPU。

📝 Summary

阿里巴巴 Qwen 团队开发了 QwenGyre，这是一个专为跨越数小时的极长程智能体任务设计的强化学习框架。该框架解决了扩展 RL 的两个主要瓶颈：长尾采样导致的 GPU 空闲，以及智能体轨迹分支的高成本。通过使用弹性调度器将 GPU 分为可充当采样服务器或训练副本的单元，QwenGyre 相比传统的共部署方案实现了高达 1.85 倍的加速。在 Qwen 2.4T 模型的测试中，它在 48 步内将 NL2RepoBench 分数从 52.5% 提升至 58.5%。

💡 Main Points

弹性 GPU 调度

QwenGyre 将 GPU 划分为单元，可以在提供采样和托管训练副本之间动态切换，从而最大限度地减少长尾执行任务期间的空闲时间。

分支轨迹优化

框架通过识别共享前缀并对其进行一次训练来处理智能体分支（即一次执行创建多条路径），显著降低了计算成本。

通过通过 RDMA 迁移 KV-cache 块并使用 Mooncake 的传输引擎，系统在大约 3 到 8 秒内完成角色切换。

在 TerminalBench 和 NL2RepoBench 等基准测试中，该框架比共部署方法快了 1.85 倍，比异步方法快了 1.78 倍。

💬 Key Quotes

QwenGyre 在采样和训练之间移动 GPU，而无需停止运行中的智能体。

轨迹树限制每次执行最多 5 个样本，并对共享前缀进行一次训练。

超时的运行仍会根据其部分工作进行评分。

📊 Article Meta