Ускорение обучения мультимодального RL с помощью SkyRL на Amazon SageMaker HyperPod
aws ·
В данной статье показано, как ускорить обучение мультимодального обучения с подкреплением с помощью SkyRL на платформе Amazon SageMaker HyperPod. Авторы описывают рабочий процесс, в котором модель Qwen3-VL-8B (визуально-языковая) обучается навигации по визуальным лабиринтам с использованием алгоритма Group Relative Policy Optimization (GRPO). Благодаря устойчивости кластера и возможностям сохранения контрольных точек в HyperPod, система гарантирует, что длительные задачи могут восстанавливаться после аппаратных сбоев без потери прогресса. Решение использует топологию кластера Ray, где инференс и обучение размещаются на общих GPU для максимальной эффективности. Обучение начинается с контрольной точки супервизорного дообучения, что позволяет повысить процент успешного прохождения лабиринта с 43,75% до более чем 95%. Мониторинг осуществляется с помощью предварительно созданных дашбордов Amazon Managed Grafana и Ray Dashboard внутри SageMaker Studio. Наконец, обученные адаптеры LoRA развертываются для инференса с использованием Ray Serve с динамической загрузкой из хранилища Amazon S3.
aws