Ajuste fino do GPT-OSS-20B para raciocínio multilíngue no Amazon SageMaker HyperPod
aws ·
Este artigo detalha o ajuste fino do modelo GPT-OSS-20B para raciocínio multilíngue usando o Amazon SageMaker HyperPod. O modelo base inicialmente tinha dificuldades, acertando apenas 22% das vezes em idiomas não ingleses por padrão, devido à tendência de recorrer ao inglês. Os autores demonstram que o Ajuste Fino Supervisionado (SFT) é essencial para ensinar comportamentos ausentes, elevando a precisão do raciocínio no idioma correto para 100%. Após o SFT, a Otimização de Política Relativa em Grupo (GRPO) proporcionou uma melhoria modesta, mas mensurável, aumentando a correção da resposta do idioma de 62% para 70%. Um experimento de controle com o Qwen2.5-7B confirmou que o GRPO só agrega valor quando há margem existente para melhoria. Se um modelo já atinge a precisão máxima, o GRPO não gera ganhos devido ao colapso dos sinais de aprendizado. O estudo conclui que o SFT deve ser usado para estabelecer capacidades básicas, enquanto o GRPO serve para refinar comportamentos parcialmente corretos. Todo o treinamento foi realizado no Amazon EKS com adaptadores LoRA e armazenamento de alta vazão.
aws