在Amazon SageMaker HyperPod上使用SkyRL加速多模态强化学习训练
aws ·
本文展示了如何在 Amazon SageMaker HyperPod 上使用 SkyRL 加速多模态强化学习训练。作者引导读者完成一个工作流程，利用组相对策略优化（GRPO）训练 Qwen3-VL-8B 视觉语言模型以导航视觉迷宫。借助 HyperPod 的集群弹性和检查点功能，系统确保长时间运行的任务能够在发生硬件故障时恢复而不会丢失进度。该解决方案采用 Ray 集群拓扑结构，将推理和训练共置于共享 GPU 上以最大化效率。训练从监督微调的检查点开始，将迷宫解决率从 43.75% 提升至超过 95%。监控通过预建的 Amazon Managed Grafana 仪表板和 SageMaker Studio 中的 Ray Dashboard 实现。最后，使用 Ray Serve 托管经过训练的 LoRA 适配器进行推理，并从 Amazon S3 动态加载。
aws