Le sofisticate interfacce rendono gli agenti di codifica più costosi ma non migliori
decoder ·
Uno studio recente dei ricercatori dell'Università di Shandong mette in discussione l'efficacia degli harness complessi per coding agent, riscontrando che aumentano i costi senza migliorare le prestazioni. Il documento, intitolato "What does a harness buy? Mostly tokens", rivela che lo scambio tra framework principali come Claude Code e mini-SWE-agent produce risultati statisticamente equivalenti al semplice riavvio della stessa configurazione. Sebbene alcuni fornitori affermino guadagni significativi nei punteggi, queste differenze rientrano spesso nell'intervallo del rumore naturale dei test di benchmark. L'impatto principale degli harness sofisticati è un aumento sostanziale del consumo di token, guidato in gran parte da prompt di sistema lunghi e descrizioni degli strumenti piuttosto che da una migliore risoluzione dei compiti. Solo un harness, OpenCode, ha mostrato un deficit misurabile nelle prestazioni, parzialmente attribuito a limiti di output e problemi di configurazione. Lo studio evidenzia che la scelta del modello ha un impatto molto maggiore sui risultati rispetto all'harness specifico utilizzato. Di conseguenza, gli autori sostengono che le classifiche attuali potrebbero essere fuorvianti a causa di variabili non controllate e della mancanza di ripetizioni sperimentali. Raccomandano di pubblicare le ripetizioni insieme ai confronti per distinguere i miglioramenti genuini dalla varianza casuale.
decoder