L'agent a dit que c'était terminé. La base de données n'était pas d'accord.
huggingface ·
Microsoft et Hugging Face ont publié ThinkingBox, un nouveau benchmark conçu pour évaluer les agents d'IA en fonction de leur impact réel sur l'état des bases de données backend, plutôt que sur le texte généré ou les appels d'outils. L'étude a analysé 507 workflows métier avec état à travers 18 modèles LLM, exécutant chaque tâche 20 fois pour mesurer la cohérence ainsi que la capacité. Les résultats ont révélé que si certains modèles comme Kimi-K3 pouvaient résoudre de nombreuses tâches au moins une fois, ils échouaient souvent à le faire de manière fiable lors des tentatives suivantes. En revanche, des modèles tels que Claude Opus 5.5 ont démontré une fiabilité supérieure en réussissant les 20 essais pour une part significative des tâches. La recherche met en lumière un écart critique où les agents semblent réussir grâce à une utilisation valide des outils, mais laissent des états terminaux incorrects, comme la clôture prématurée de tickets. Pour remédier à cela, les auteurs ont introduit des métriques de coût par tâche fiable, montrant qu'une précision constante engendre un prix financier plus élevé que l'obtention d'une seule réponse correcte. Le benchmark est désormais disponible via OpenEnv, permettant aux développeurs de tester la fiabilité des agents contre des sessions isolées avec des vérifications exécutables des effets secondaires.
huggingface