Apprentissage par renforcement multi-tours sur Amazon SageMaker AI : un guide pratique
aws ·
Cet article propose un guide pratique pour mettre en œuvre l'apprentissage par renforcement multi-tours (MTRL) sur Amazon SageMaker AI afin d'entraîner des modèles pour des tâches agentic. Contrairement au réglage fin supervisé, le MTRL optimise les modèles en fonction du résultat final de séquences à plusieurs étapes plutôt que de prompts individuels. Les auteurs illustrent cette approche à l'aide d'un environnement de jeu Wordle hébergé sur Amazon Bedrock AgentCore, où l'agent interagit avec un modèle de politique et reçoit une récompense unique à la fin. Lors de leur expérience, l'entraînement du modèle GPT-OSS-20B a fait passer son taux de résolution de 61 % à 84 % aux paramètres de déploiement, pour un coût d'environ 339 $ en tokens. Le guide détaille l'ensemble du pipeline, y compris la configuration des rôles IAM, le déploiement de l'agent, la préparation des jeux de données et le suivi via MLflow. Il met également en lumière des leçons de conception critiques, telles que la structuration des récompenses pour privilégier les résultats plutôt que le façonnement intermédiaire, et la gestion des problèmes de concurrence. Enfin, les auteurs soulignent l'importance d'évaluer les modèles selon les paramètres réels de déploiement afin d'éviter des métriques de validation trompeuses.
aws