Affiner un agent de recherche avec l'apprentissage par renforcement multi-tours sur Amazon SageMaker AI
aws ·
Cet article détaille comment des chercheurs d'AWS ont affiné un agent de recherche Qwen3.6-27B en utilisant les capacités d'apprentissage par renforcement multi-tours (MTRL) d'Amazon SageMaker AI. Contrairement au réglage fin supervisé traditionnel ou au RL à tour unique, le MTRL optimise le modèle sur l'ensemble des séquences d'interaction, lui permettant d'apprendre autonomement des stratégies de récupération complexes. L'équipe a configuré l'agent avec des outils de recherche lexicale et vectorielle, en utilisant le nDCG@10 comme signal de récompense principal et en pénalisant les modes de défaillance tels que le dépassement des limites de tours. Les résultats ont démontré des améliorations significatives de la qualité de la récupération, avec des gains de nDCG@10 allant jusqu'à 23,7 % sur le benchmark BrowseComp-Plus. De plus, l'agent affiné a fait preuve d'une fiabilité remarquable, réduisant son taux d'échec de près de 23 % à moins de 1 % sur des requêtes complexes. Le caractère serverless du MTRL de SageMaker AI a permis un entraînement efficace sans gestion de clusters GPU, tandis que les hyperparamètres par défaut se sont révélés suffisants pour obtenir des gains de performance substantiels. Cette approche offre aux entreprises un moyen rentable d'atteindre une fiabilité de niveau modèle de pointe avec des modèles plus petits et plus rapides.
aws