Система SoL-Pi от Nvidia сокращает использование токенов кодовыми агентами почти вдвое за счёт оптимизации интерфейса
decoder ·
Исследователи Nvidia представили систему SoL-Pi, которая оптимизирует управляющий слой кодовых агентов для значительного снижения потребления токенов. Автоматизируя анализ трасс агентов и предлагая модификации хarnеса (harness), система сокращает использование токенов почти вдвое при сохранении сопоставимого уровня производительности. Подход исследует более 152 направлений в 535 средах, выявляя четыре ключевых механизма, таких как Action Fusion и Online Context Compact, для устранения избыточных вычислений. На бенчмарке EdgeBench наиболее эффективный вариант снизил затраты на 49 процентов и достиг 93,7 процента от результата оригинального Pi harness. Хотя метод эффективен на конкретных бенчмарках, таких как EdgeBench, результаты на других тестах, например Terminal-Bench 4, оказались неоднозначными: там он решил меньше задач, чем конкуренты. В исследовании отмечается, что оптимизация harness может обеспечить существенную экономию по сравнению с нативными реализациями Codex и Claude Code. Однако авторы указывают, что эти преимущества в эффективности могут сопровождаться компромиссами, такими как снижение повторного использования кэша промптов. Это развитие событий направлено на решение растущей проблемы высоких затрат агентных ИИ, у которых потребление токенов увеличилось в четырнадцать раз с начала 2026 года.
decoder