Агент сказал, что это сделано. База данных не согласилась.
huggingface ·
Компании Microsoft и Hugging Face выпустили ThinkingBox — новый бенчмарк, предназначенный для оценки ИИ-агентов на основе их реального воздействия на состояния бэкенд-баз данных, а не только на сгенерированный текст или вызовы инструментов. В исследовании проанализировано 507 состоятельных бизнес-рабочих процессов с использованием 18 моделей больших языковых моделей (LLM); каждая задача выполнялась 20 раз для измерения как способности, так и согласованности результатов. Выяснилось, что хотя некоторые модели, такие как Kimi-K3, могли решать многие задачи хотя бы один раз, они часто терпели неудачу при последующих попытках. Напротив, такие модели, как Claude Opus 5.5, продемонстрировали более высокую надежность, успешно пройдя все 20 испытаний по значительной части задач. Исследование подчеркивает критический пробел: агенты кажутся успешными благодаря корректному использованию инструментов, но оставляют неверные конечные состояния, например, преждевременное закрытие заявок. Для решения этой проблемы авторы предложили метрики стоимости за одну надежную задачу, показав, что достижение стабильной точности обходится дороже, чем просто получение одного правильного ответа. Бенчмарк теперь доступен через платформу OpenEnv, позволяя разработчикам проверять надежность агентов в изолированных сессиях с исполняемыми проверками побочных эффектов.
huggingface