Ottimizzazione di GPT-OSS-20B per il ragionamento multilingue su Amazon SageMaker HyperPod
aws ·
Questo articolo descrive il fine-tuning del modello GPT-OSS-20B per il ragionamento multilingue utilizzando Amazon SageMaker HyperPod. Il modello di base inizialmente mostrava difficoltà, ragionando correttamente in lingue diverse dall'inglese solo nel 22% dei casi, ricorrendo di default all'inglese. Gli autori dimostrano che il Supervised Fine-Tuning (SFT) è essenziale per insegnare comportamenti mancanti, portando l'accuratezza del ragionamento nella lingua corretta al 100%. Dopo l'SFT, la Group Relative Policy Optimization (GRPO) ha fornito un miglioramento modesto ma misurabile, aumentando la correttezza delle risposte dalla lingua dal 62% al 70%. Un esperimento di controllo con Qwen2.5-7B ha confermato che la GRPO aggiunge valore solo quando esiste margine di miglioramento; se un modello raggiunge già l'accuratezza massima, la GRPO non produce benefici a causa del collasso dei segnali di apprendimento. Lo studio conclude che l'SFT dovrebbe essere utilizzato per stabilire le capacità di base, mentre la GRPO serve a perfezionare i comportamenti parzialmente corretti. Tutto l'addestramento è stato condotto su Amazon EKS con adapter LoRA e archiviazione ad alta throughput.
aws