Multimodales RL-Training mit SkyRL auf Amazon SageMaker HyperPod beschleunigen
aws ·
Dieser Artikel zeigt, wie das Training multimodaler Verstärkungslernmodelle mit SkyRL auf Amazon SageMaker HyperPod beschleunigt werden kann. Die Autoren führen durch einen Workflow, der das Qwen3-VL-8B-Vision-Language-Modell trainiert, visuelle Labyrinthe mithilfe von Group Relative Policy Optimization (GRPO) zu navigieren. Durch die Nutzung der Cluster-Resilienz und Checkpointing-Funktionen von HyperPod stellt das System sicher, dass langlaufende Jobs Hardwareausfälle ohne Verlust des Fortschritts überstehen können. Die Lösung verwendet eine Ray-Cluster-Topologie, bei der Inferenz und Training auf gemeinsam genutzten GPUs platziert sind, um die Effizienz zu maximieren. Das Training beginnt mit einem Checkpoint für supervised fine-tuning, wodurch die Lösungsrate für Labyrinthe von 43,75 % auf über 95 % steigt. Das Monitoring wird durch vorgefertigte Amazon Managed Grafana-Dashboards und das Ray Dashboard innerhalb von SageMaker Studio erleichtert. Schließlich werden die trainierten LoRA-Adapter für die Inferenz mit Ray Serve gehostet, wobei dynamisch aus Amazon S3 geladen wird.
aws