Новый открытый бенчмарк показывает, что рассуждение является главным препятствием для ИИ в облачных операциях
decoder ·
Новый открытый бенчмарк CloudOpsBench выявил, что способность к рассуждению является главным препятствием для ИИ-агентов при выполнении задач облачных операций. Разработанная командой из Мичиганского университета версия 1.0 оценивает, насколько хорошо модели справляются с типичными задачами DevOps, такими как исправление сервисов и управление правами доступа в AWS. Бенчмарк включает 45 реальных задач, выполненных как в реальных, так и в эмулированных облачных средах. Несмотря на свои возможности, ведущие модели, такие как Claude Fable 5.1 и GPT-6 Astra, решили лишь 60% и 53% задач соответственно. Исследователи обнаружили, что примерно 80% неудач связаны с плохим рассуждением, когда агенты неверно оценивают масштаб задачи или прекращают работу преждевременно. Лишь около 20% ошибок обусловлены неправильными действиями, некоторые из которых могут иметь необратимые последствия для инфраструктуры. Проект доступен на GitHub под лицензией Apache 2.0; планируются расширения для других облачных провайдеров.
decoder