Acelerar o treinamento RL multimodal com SkyRL no Amazon SageMaker HyperPod
aws ·
Este artigo demonstra como acelerar o treinamento de aprendizado por reforço multimodal usando o SkyRL no Amazon SageMaker HyperPod. Os autores guiam os leitores por um fluxo de trabalho que treina o modelo de visão e linguagem Qwen3-VL-8B para navegar em labirintos visuais por meio da Otimização Relativa de Política em Grupo (GRPO). Ao aproveitar a resiliência do cluster e o checkpointing do HyperPod, o sistema garante que trabalhos de longa duração possam se recuperar de falhas de hardware sem perder o progresso. A solução utiliza uma topologia de cluster Ray onde inferência e treinamento são colocados na mesma GPU compartilhada para maximizar a eficiência. O treinamento começa a partir de um checkpoint de ajuste fino supervisionado, melhorando a taxa de resolução dos labirintos de 43,75% para mais de 95%. O monitoramento é facilitado por painéis pré-construídos do Amazon Managed Grafana e pelo Ray Dashboard dentro do SageMaker Studio. Por fim, os adaptadores LoRA treinados são hospedados para inferência usando o Ray Serve com carregamento dinâmico a partir do Amazon S3.
aws