Affinage de GPT-OSS-20B pour le raisonnement multilingue sur Amazon SageMaker HyperPod
aws ·
Cet article détaille le réglage fin du modèle GPT-OSS-20B pour la raisonnement multilingue à l'aide d'Amazon SageMaker HyperPod. Le modèle de base présentait initialement des difficultés, ne raisonnant correctement dans des langues non anglaises que dans 22 % des cas en se rabattant systématiquement sur l'anglais. Les auteurs démontrent que le Supervised Fine-Tuning (SFT) est essentiel pour enseigner les comportements manquants, portant la précision du raisonnement linguistique à 100 %. Après le SFT, l'optimisation de politique relative par groupe (GRPO) a apporté une amélioration modeste mais mesurable, faisant passer la correction des réponses linguistiques de 62 % à 70 %. Une expérience de contrôle avec Qwen2.5-7B a confirmé que le GRPO n'apporte de la valeur que lorsqu'il existe une marge de progression existante. Si un modèle atteint déjà une précision maximale, le GRPO ne génère aucun gain en raison de l'effondrement des signaux d'apprentissage. L'étude conclut que le SFT doit être utilisé pour établir les capacités de base, tandis que le GRPO sert à affiner les comportements partiellement corrects. Tous les entraînements ont été effectués sur Amazon EKS avec des adaptateurs LoRA et un stockage à haut débit.
aws