Novo benchmark de código aberto revela que o raciocínio é o maior gargalo para a IA em operações na nuvem
decoder ·
Um novo benchmark de código aberto chamado CloudOpsBench identificou o raciocínio como o principal obstáculo para agentes de IA na execução de tarefas de operações em nuvem. Desenvolvido por uma equipe da Universidade de Michigan, a Versão 1.0 avalia o desempenho dos modelos em atividades típicas de DevOps, como corrigir serviços e gerenciar direitos de acesso na AWS. O benchmark inclui 45 tarefas do mundo real executadas tanto em ambientes reais quanto emulados de nuvem. Apesar de suas capacidades, os principais modelos, como Claude Fable 5.1 e GPT-6 Astra, resolveram apenas 60% e 53% das tarefas, respectivamente. Os pesquisadores descobriram que aproximadamente 80% das falhas decorrem de um raciocínio deficiente, no qual os agentes avaliam incorretamente o escopo da tarefa ou param prematuramente. Apenas cerca de 20% dos erros envolvem ações incorretas, algumas das quais têm consequências irreversíveis para a infraestrutura. O projeto está disponível no GitHub sob a licença Apache 2.0, com extensões para outros provedores de nuvem planejadas.
decoder