Il sistema SoL-Pi di Nvidia dimezza l'uso dei token negli agenti di codifica ottimizzando il harness
decoder ·
I ricercatori di Nvidia hanno presentato SoL-Pi, un sistema che ottimizza lo strato di controllo degli agenti di codifica per ridurre significativamente il consumo di token. Automatizzando l'analisi delle tracce degli agenti e proponendo modifiche all'harness, il sistema dimezza quasi l'utilizzo dei token mantenendo livelli di prestazioni comparabili. L'approccio esplora oltre 152 direzioni in 535 ambienti, identificando quattro meccanismi chiave come Action Fusion e Online Context Compact per eliminare il lavoro ridondante. Sul benchmark EdgeBench, la variante più efficiente ha ridotto i costi del 49% e ha raggiunto il 93,7% del punteggio dell'harness Pi originale. Sebbene efficace su benchmark specifici come EdgeBench, i risultati sono stati contrastanti su altri test come Terminal-Bench 4, dove ha risolto meno compiti rispetto ai concorrenti. Lo studio evidenzia che l'ottimizzazione dell'harness può produrre risparmi sostanziali rispetto alle implementazioni native di Codex e Claude Code. Tuttavia, gli autori notano che questi guadagni in efficienza potrebbero comportare compromessi, come una minore riusabilità della cache dei prompt. Questo sviluppo affronta la crescente onere dei costi dell'AI agentic, che ha visto un aumento quattordici volte dell'utilizzo dei token dall'inizio del 2026.
decoder