Transformer l'évaluation des bases de données en récompenses RL : Agents post-entraînement avec ThinkingBox
huggingface ·
Microsoft et Hugging Face ont publié ThinkingBox-Training, un cadre qui transforme la vérification de l'état d'une base de données en récompenses d'apprentissage par renforcement pour les agents IA. En utilisant des vérifications exécutables des états finaux de la base de données comme récompenses binaires, le système entraîne les modèles à garantir qu'ils produisent des résultats finaux corrects plutôt que de simplement imiter les appels d'outils. Les auteurs ont appliqué cette méthode pour affiner Qwen3.8-27B en utilisant l'optimisation relative du groupe de politiques (GRPO) sur 50 étapes. Cette formation a considérablement amélioré la fiabilité du modèle, faisant passer le pourcentage de tâches réussies lors de toutes les vingt tentatives de 7,5 % à 21,1 %. Bien que les taux de réussite moyens aient augmenté de près de neuf points, on observe une légère baisse des tâches résolues au moins une fois, ce qui indique un changement vers des performances plus cohérentes. L'équipe a utilisé une estimation hors ligne de la difficulté relative à la politique pour sélectionner un ensemble fixe de 187 tâches difficiles pour la formation, excluant entièrement les données du benchmark. Les résultats montrent que le modèle affiné a atteint des coûts inférieurs par tâche fiable par rapport à sa version de base, se rapprochant de l'efficacité des modèles propriétaires plus grands.
huggingface