Ajuste fino de GPT-OSS-20B para el razonamiento multilingüe en Amazon SageMaker HyperPod
aws ·
Este artículo detalla el ajuste fino del modelo GPT-OSS-20B para el razonamiento multilingüe utilizando Amazon SageMaker HyperPod. El modelo base inicialmente presentaba dificultades, razonando correctamente en idiomas distintos al inglés solo el 22% de las veces al recurrir por defecto al inglés. Los autores demuestran que el Ajuste Fino Supervisado (SFT) es esencial para enseñar comportamientos faltantes, elevando la precisión del razonamiento en el idioma objetivo al 100%. Tras el SFT, la Optimización de Política Relativa por Grupos (GRPO) proporcionó una mejora modesta pero medible, aumentando la corrección del idioma de respuesta del 62% al 70%. Un experimento de control con Qwen2.5-7B confirmó que GRPO solo aporta valor cuando existe margen existente para mejorar; si un modelo ya alcanza la precisión máxima, GRPO no produce ganancias debido a señales de aprendizaje colapsadas. El estudio concluye que el SFT debe utilizarse para establecer capacidades básicas, mientras que GRPO sirve para refinar comportamientos parcialmente correctos. Todo el entrenamiento se realizó en Amazon EKS con adaptadores LoRA y almacenamiento de alta capacidad.
aws