Les agents IA ont mauvais goût dans les décisions à long terme et un nouveau benchmark le prouve
decoder ·
Des chercheurs de Microsoft et de l'Université City de Hong Kong ont présenté Taste-Bench, un nouveau benchmark conçu pour évaluer la capacité des agents d'IA à prendre des décisions à long terme lors de tâches complexes en plusieurs étapes. Contrairement aux benchmarks standards qui se limitent à mesurer l'achèvement final de la tâche, cet outil évalue le « goût » d'un agent en analysant sa capacité à choisir la voie la plus prometteuse aux carrefours décisionnels critiques d'une trajectoire. L'étude a testé 14 modèles de pointe, dont GPT-5.6 Sol et GPT-5.5, révélant que même les meilleurs performeurs dépassaient à peine les 60 % de précision sur ces choix binaires. Les performances ont chuté significativement lorsque les éléments favorisant une voie ne devenaient évidents qu'après un travail ultérieur important, indiquant que les modèles actuels peinent à prédire efficacement les résultats futurs. L'augmentation du temps de raisonnement ou du budget computationnel n'a pas amélioré les résultats, suggérant que les indices nécessaires manquent souvent au contexte immédiat. Cependant, les chercheurs ont démontré que cette capacité de jugement peut être entraînée en distillant les connaissances d'un modèle enseignant vers un modèle élève, ce qui a amélioré les taux de réussite sur des tâches de codage non vues. Cette découverte met en lumière un écart significatif dans les capacités actuelles de l'IA en matière de planification à long terme et offre une voie d'amélioration grâce à un entraînement ciblé.
decoder