Un nouveau benchmark open source révèle que le raisonnement est le principal goulot d'étranglement pour l'IA dans les opérations cloud
decoder ·
Un nouveau benchmark open-source appelé CloudOpsBench a identifié le raisonnement comme l'obstacle principal pour les agents IA effectuant des tâches d'exploitation cloud. Développé par une équipe de l'Université du Michigan, la version 1.0 évalue la capacité des modèles à gérer des activités DevOps typiques, telles que la réparation de services et la gestion des droits d'accès sur AWS. Le benchmark comprend 45 tâches réelles exécutées dans des environnements cloud réels et simulés. Malgré leurs capacités, les modèles de pointe tels que Claude Fable 5.1 et GPT-6 Astra n'ont résolu que 60 % et 53 % des tâches, respectivement. Les chercheurs ont constaté qu'environ 80 % des échecs proviennent d'un raisonnement déficient, où les agents jugent mal la portée de la tâche ou s'arrêtent prématurément. Seuls environ 20 % des erreurs impliquent des actions incorrectes, dont certaines ont des conséquences irréversibles pour l'infrastructure. Le projet est disponible sur GitHub sous licence Apache 2.0, avec des extensions prévues pour d'autres fournisseurs de cloud.
decoder