El agente dijo que estaba hecho. La base de datos discrepó.
huggingface ·
Microsoft y Hugging Face han lanzado ThinkingBox, un nuevo punto de referencia diseñado para evaluar agentes de IA basándose en su impacto real en los estados de las bases de datos backend, en lugar de limitarse al texto generado o a las llamadas a herramientas. El estudio analizó 507 flujos de trabajo empresariales con estado en 18 modelos de LLM, ejecutando cada tarea 20 veces para medir la consistencia junto con la capacidad. Los resultados revelaron que, aunque algunos modelos como Kimi-K3 podían resolver muchas tareas al menos una vez, a menudo fallaban al hacerlo de manera confiable en intentos posteriores. Por el contrario, modelos como Claude Opus 5.5 demostraron mayor fiabilidad al superar las 20 pruebas en una parte significativa de las tareas. La investigación destaca una brecha crítica donde los agentes parecen exitosos mediante un uso válido de las herramientas, pero dejan estados terminales incorrectos, como cerrar tickets prematuramente. Para abordar esto, los autores introdujeron métricas de costo por tarea confiable, mostrando que lograr una precisión consistente implica un precio financiero más alto que simplemente obtener una respuesta correcta única. El punto de referencia ya está disponible a través de OpenEnv, permitiendo a los desarrolladores probar la fiabilidad de los agentes contra sesiones aisladas con verificaciones ejecutables de los efectos secundarios.
huggingface