Сложные оболочки делают агентов для кодинга дороже, но не эффективнее
decoder ·
Недавнее исследование ученых из Шаньдунского университета ставит под сомнение эффективность сложных систем (harnesses) для кодовых агентов, показывая, что они увеличивают затраты без улучшения производительности. В статье с названием «Что дает harness? В основном токены» утверждается, что переключение между крупными фреймворками, такими как Claude Code и mini-SWE-agent, дает результаты, статистически эквивалентные простому повторному запуску той же конфигурации. Хотя некоторые поставщики заявляют о значительном росте показателей, эти различия часто находятся в пределах естественного шума тестовых бенчмарков. Основное влияние fancy-harnesses заключается в существенном увеличении потребления токенов, что обусловлено преимущественно длинными системными промптами и описаниями инструментов, а не лучшим решением задач. Только один harness, OpenCode, продемонстрировал измеримое снижение производительности, частично объясняемое ограничениями вывода и проблемами конфигурации. Исследование подчеркивает, что выбор модели оказывает гораздо большее влияние на результаты, чем конкретный используемый harness. Следовательно, авторы утверждают, что текущие рейтинговые таблицы могут быть вводящими в заблуждение из-за неконтролируемых переменных и отсутствия повторяющихся испытаний. Они рекомендуют публиковать результаты повторных запусков вместе со сравнениями, чтобы отличить реальные улучшения от случайной вариативности.
decoder