Тонкая настройка GPT-OSS-20B для многоязычного вывода на Amazon SageMaker HyperPod
aws ·
В статье описывается дообучение модели GPT-OSS-20B для многоязычного рассуждения с использованием Amazon SageMaker HyperPod. Базовая модель изначально демонстрировала низкие результаты: она правильно рассуждала на языках, отличных от английского, лишь в 22% случаев, предпочитая использовать английский по умолчанию. Авторы показывают, что контролируемое дообучение (SFT) необходимо для формирования недостающих навыков, что повышает точность рассуждений на целевых языках до 100%. После SFT групповая относительная оптимизация политики (GRPO) обеспечила умеренное, но измеримое улучшение, увеличив правильность ответов на целевом языке с 62% до 70%. Контрольный эксперимент с моделью Qwen2.5-7B подтвердил, что GRPO приносит пользу только тогда, когда есть потенциал для улучшения. Если модель уже достигает максимальной точности, GRPO не дает прироста из-за коллапса обучающих сигналов. Исследование приходит к выводу, что SFT следует использовать для установления базовых возможностей, а GRPO — для тонкой настройки частично корректного поведения. Все обучение проводилось на базе Amazon EKS с адаптерами LoRA и хранилищем с высокой пропускной способностью.
aws