Votre agent a réussi la tâche. Le réussira-t-il à nouveau ?
huggingface ·
Les chercheurs d'IBM soulignent un problème critique de fiabilité chez les agents IA, où une précision moyenne élevée masque une incohérence significative lors des exécutions répétées. Ils présentent l'Analyseur de Consistance, un outil diagnostique qui identifie les points de décision instables en rééchantillonnant les trajectoires de l'agent sans nécessiter de vérité terrain ni de replays complets. Cette analyse alimente ALTK-Evolve pour générer des directives de consistance visant à stabiliser ces distributions de probabilité « plates ». Lors des évaluations sur AppWorld avec GPT-4.1, cette approche a réduit de moitié l'écart de consistance, passant de 24,4 points de pourcentage à 12,0 points. La méthode a considérablement amélioré les taux Pass^5 tout en maintenant ou en augmentant légèrement la précision moyenne. Ces directives se sont révélées généralisables, se transférant efficacement vers des tâches similaires et des modèles plus faibles comme gpt-oss-120b. Les auteurs exhortent les développeurs à rapporter les résultats Pass^k aux côtés de Mean@k afin d'évaluer plus précisément la fiabilité des agents pour les applications critiques.
huggingface