Accelerare l'addestramento RL multimodale con SkyRL su Amazon SageMaker HyperPod
aws ·
Questo articolo dimostra come accelerare l'addestramento del reinforcement learning multimodale utilizzando SkyRL su Amazon SageMaker HyperPod. Gli autori guidano i lettori attraverso un flusso di lavoro che addestra il modello vision-language Qwen3-VL-8B a navigare labirinti visivi utilizzando la Group Relative Policy Optimization (GRPO). Sfruttando la resilienza del cluster e la funzionalità di checkpointing di HyperPod, il sistema garantisce che i lavori di lunga durata possano recuperare da guasti hardware senza perdere i progressi. La soluzione utilizza una topologia di cluster Ray in cui inferenza e addestramento sono collocati sulle stesse GPU condivise per massimizzare l'efficienza. L'addestramento inizia da un checkpoint di supervised fine-tuning, migliorando il tasso di risoluzione dei labirinti dal 43,75% a oltre il 95%. Il monitoraggio è facilitato dai dashboard preconfigurati di Amazon Managed Grafana e dal Ray Dashboard all'interno di SageMaker Studio. Infine, gli adapter LoRA addestrati vengono ospitati per l'inferenza utilizzando Ray Serve con caricamento dinamico da Amazon S3.
aws