在Amazon SageMaker HyperPod上微调GPT-OSS-20B以实现多语言推理
aws ·
本文详细介绍了在 Amazon SageMaker HyperPod 上对 GPT-OSS-20B 模型进行微调，以增强其多语言推理能力。基础模型最初表现不佳，默认使用英语时，其在非英语语言下的正确推理率仅为 22%。作者证明，监督微调（SFT）对于教授缺失行为至关重要，可将推理语言的准确率提升至 100%。在 SFT 之后，组相对策略优化（GRPO）带来了适度但可衡量的改进，使答案语言的正确答案率从 62% 提高到 70%。一项针对 Qwen2.5-7B 的对照实验证实，GRPO 仅在存在提升空间时才具有价值；如果模型已经达到最高准确率，由于学习信号坍塌，GRPO 无法带来任何增益。研究结论指出，应使用 SFT 建立基线能力，而 GRPO 则用于完善部分正确的行为。所有训练均在 Amazon EKS 上使用 LoRA 适配器和高速存储完成。
aws