Feinabstimmung von GPT-OSS-20B für mehrsprachiges Reasoning auf Amazon SageMaker HyperPod
aws ·
Dieser Artikel beschreibt das Fine-Tuning des GPT-OSS-20B-Modells für mehrsprachiges Reasoning unter Verwendung von Amazon SageMaker HyperPod. Das Basismodell hatte anfangs Schwierigkeiten und begründete in nicht-englischen Sprachen standardmäßig auf Englisch, was zu einer korrekten Reasoning-Rate von nur 22 % führte. Die Autoren zeigen, dass Supervised Fine-Tuning (SFT) unerlässlich ist, um fehlende Verhaltensweisen beizubringen, wodurch die Genauigkeit der Sprachbegründung auf 100 % steigt. Nach dem SFT brachte Group Relative Policy Optimization (GRPO) eine moderate, aber messbare Verbesserung und erhöhte die Korrektheit der Antwortsprache von 62 % auf 70 %. Ein Kontrollversuch mit Qwen2.5-7B bestätigte, dass GRPO nur dann einen Mehrwert bietet, wenn noch Verbesserungsbedarf besteht. Wenn ein Modell bereits eine maximale Genauigkeit erreicht, bringt GRPO keine Gewinne, da die Lernsignale kollabieren. Die Studie kommt zu dem Schluss, dass SFT zur Etablierung grundlegender Fähigkeiten eingesetzt werden sollte, während GRPO dazu dient, teilweise korrekte Verhaltensweisen zu verfeinern. Das gesamte Training wurde auf Amazon EKS mit LoRA-Adaptern und hochdurchsatzstarkem Speicher durchgeführt.
aws