Un nuevo benchmark de código abierto revela que el razonamiento es la mayor barrera para la IA en operaciones en la nube
decoder ·
Un nuevo benchmark de código abierto llamado CloudOpsBench ha identificado el razonamiento como el principal obstáculo para los agentes de IA que realizan tareas de operaciones en la nube. Desarrollado por un equipo de la Universidad de Míchigan, la versión 1.0 evalúa cómo los modelos manejan actividades típicas de DevOps, como reparar servicios y gestionar derechos de acceso en AWS. El benchmark incluye 45 tareas del mundo real ejecutadas tanto en entornos de nube reales como emulados. A pesar de sus capacidades, los modelos líderes como Claude Fable 5.1 y GPT-6 Astra resolvieron solo el 60 % y el 53 % de las tareas, respectivamente. Los investigadores descubrieron que aproximadamente el 80 % de los fallos se deben a un mal razonamiento, donde los agentes juzgan incorrectamente el alcance de la tarea o se detienen prematuramente. Solo alrededor del 20 % de los errores implican acciones incorrectas, algunas de las cuales tienen consecuencias irreversibles para la infraestructura. El proyecto está disponible en GitHub bajo una licencia Apache 2.0, con extensiones para otros proveedores de nube planificadas.
decoder