O Agente Disse Que Estava Pronto. O Banco de Dados Discordou.
huggingface ·
A Microsoft e a Hugging Face lançaram o ThinkingBox, um novo benchmark projetado para avaliar agentes de IA com base em seu impacto real nos estados de bancos de dados backend, em vez de apenas no texto gerado ou nas chamadas de ferramentas. O estudo analisou 507 fluxos de trabalho empresariais com estado em 18 modelos de LLM, executando cada tarefa 20 vezes para medir consistência junto com a capacidade. Os resultados revelaram que, embora alguns modelos, como o Kimi-K3, pudessem resolver muitas tarefas pelo menos uma vez, frequentemente falhavam em fazê-lo de forma confiável em tentativas subsequentes. Em contraste, modelos como o Claude Opus 5.5 demonstraram maior confiabilidade, passando em todos os 20 testes para uma parte significativa das tarefas. A pesquisa destaca uma lacuna crítica em que os agentes parecem bem-sucedidos por meio do uso válido de ferramentas, mas deixam estados finais incorretos, como fechar tickets prematuramente. Para abordar isso, os autores introduziram métricas de custo por tarefa confiável, mostrando que alcançar precisão consistente implica um preço financeiro mais alto do que simplesmente obter uma única resposta correta. O benchmark está agora disponível via OpenEnv, permitindo que desenvolvedores testem a confiabilidade dos agentes contra sessões isoladas com verificações executáveis sobre efeitos colaterais.
huggingface