Ваш агент справился с задачей. Справится ли он снова?
huggingface ·
Исследователи IBM выделяют критическую проблему надежности ИИ-агентов, при которой высокая средняя точность скрывает значительную нестабильность при повторных запусках. Они представляют инструмент диагностики Consistency Analyzer, который выявляет неустойчивые точки принятия решений путем ресэмплирования траекторий агента без необходимости наличия эталонных ответов или полных перезапусков. Этот анализ используется в ALTK-Evolve для выработки рекомендаций по обеспечению согласованности, стабилизирующих эти «плоские» распределения вероятностей. В оценках на AppWorld с использованием GPT-4.1 данный подход сократил разницу в согласованности (consistency gap) с 24,4 процентных пункта до 12,0 пунктов. Метод значительно улучшил показатели Pass^5, сохранив или слегка повысив среднюю точность. Эти рекомендации оказались обобщаемыми и эффективно переносились на аналогичные задачи и более слабые модели, такие как gpt-oss-120b. Авторы призывают разработчиков сообщать о Pass^k вместе с Mean@k для более точной оценки надежности агентов в критически важных приложениях.
huggingface