У агентов ИИ плохой вкус в долгосрочных решениях, и новый бенчмарк это доказывает
decoder ·
Исследователи из Microsoft и Городского университета Гонконга представили Taste-Bench — новый бенчмарк, предназначенный для оценки способности ИИ-агентов принимать долгосрочные решения в ходе сложных многошаговых задач. В отличие от стандартных бенчмарков, которые измеряют лишь завершение задачи, этот инструмент оценивает «вкус» агента, анализируя его способность выбирать наиболее перспективный путь на ключевых развилках траектории. В исследовании были протестированы 14 ведущих моделей, включая GPT-5.6 Sol и GPT-5.5, и выяснилось, что даже лучшие из них достигали точности чуть выше 60 процентов при выборе из двух вариантов. Производительность значительно падала, когда доказательства в пользу одного из путей появлялись только после extensive последующей работы, что указывает на трудности текущих моделей с эффективным прогнозированием будущих результатов. Увеличение времени на рассуждения или вычислительного бюджета не улучшало результаты, что предполагает отсутствие необходимых подсказок в непосредственном контексте. Однако исследователи продемонстрировали, что эту способность к суждению можно тренировать путем дистилляции знаний от модели-учителя в модель-студент, что повысило успешность выполнения тестовых задач по программированию. Этот вывод подчеркивает значительный пробел в текущих возможностях ИИ в области планирования на длительной дистанции и предлагает путь для улучшения через целенаправленное обучение.
decoder