使用 SkyRL 在 Amazon SageMaker HyperPod 上加速多模态强化学习训练 | Amazon Web Services

📌 One-Sentence Summary

AWS 展示了如何使用 SkyRL 在 SageMaker HyperPod 上加速视觉-语言模型的多模态强化学习训练，迷宫求解率从 43.75 % 提升至 95 % 以上。

📝 Summary

本技术指南详细阐述了使用 SkyRL 开源框架在 Amazon SageMaker HyperPod 上实现 Group Relative Policy Optimization (GRPO) 以训练 Qwen3-VL-8B 视觉-语言模型，帮助其在视觉迷宫中导航。该方案利用 HyperPod 的集群弹性和 Ray 集成，管理需要持久化基础设施与容错的长时间、多节点强化学习任务。通过将 vLLM 推理引擎与 FSDP 策略工作者共置在同一 GPU，并使用 Amazon FSx for Lustre 进行共享存储，架构优化了资源利用率并实现了高效的 LoRA 适配器同步。本文提供了容器准备、集群配置和作业提交的完整步骤，展示了后训练后代理能力的显著提升。

💡 Main Points

将 SkyRL 与 SageMaker HyperPod 集成以实现弹性强化学习训练

该方案利用 HyperPod 的自动节点替换和检查点功能，支持长时间、多节点的强化学习任务，确保硬件故障不会导致进度丢失或昂贵的重启。

通过推理与训练共置实现高效 GPU 利用

通过设置 `trainer.placement.colocate_all=true`，vLLM 推理引擎和 FSDP 策略工作者共享同一 GPU，消除了生成与更新阶段之间的空闲时间，减少了单独 GPU 池的需求。

多模态代理任务显著性能提升

在 VisGym 数据集上使用 GRPO 对 Qwen3-VL-8B 进行后训练后，迷宫求解率从 43.75 % 提升至 95 % 以上，展示了强化学习在优化视觉-语言代理的推理与动作序列方面的有效性。

使用 Ray 在 HyperPod 上实现简化工作流

该指南展示了使用 `toolkit-for-ray-on-sagemaker-ai` 包进行安全远程作业提交，以及预构建的 Grafana 仪表盘用于监控训练动态，简化了分布式强化学习的运维复杂度。

💬 Key Quotes

在大规模运行时，跨多个节点、每次训练运行数百 GPU 小时的回放，需要持久化集群基础设施。

凭借其集群弹性功能，它持续监控节点健康并自动替换故障节点，从而硬件故障不会导致整个集群停机。

在 HyperPod 上使用 GRPO 进行后训练后，迷宫求解率在固定的 64 迷宫评估集上从 43.75 % 提升至 95 % 以上。

共置通过让训练与推理在同一硬件上交替使用，避免了空闲时间。

📊 Article Meta

AI Screening： 86

Source： AWS Artificial Intelligence

Author： Nilesh PS

Category： 人工智能

Language： 英文

Read Time： 15 min

Word Count： 3734

Tags：

AI 与智能应用 , 模型训练与推理 , 强化学习 , 多模态 AI , 云原生 / DevOps