StateBench: Testare come i modelli linguistici tracciano i cambiamenti di stato nei documenti lunghi
huggingface ·
AllenAI ha presentato StateBench, un nuovo benchmark progettato per valutare la capacità dei modelli linguistici di tracciare le modifiche di stato nei documenti lunghi. Il benchmark classifica i compiti in quattro livelli di complessità: r-trivial, aperiodico, risolvibile e finito generale, che corrispondono a gradi crescenti di assegnazione delle variabili e dipendenza. I ricercatori hanno testato varie architetture, inclusi transformer standard, Gated DeltaNet e modelli ibridi, nonché modelli commerciali all'avanguardia come Gemini 3.8 Flash e GPT-6. Sebbene i modelli pre-addestrati abbiano generalmente faticato con problemi di tracciamento dello stato più difficili all'aumentare della lunghezza dell'input, i modelli addestrati direttamente sul compito hanno mostrato differenze architetturali significative. Nello specifico, Gated DeltaNet e i modelli ibridi hanno dimostrato capacità di generalizzazione superiori rispetto ai transformer, che hanno fallito anche quando esplicitamente addestrati sui compiti più difficili. I modelli all'avanguardia hanno inoltre mostrato cali marcati di accuratezza nelle sequenze complesse, evidenziando problemi di sensibilità in cui la mancata rilevazione di un singolo aggiornamento porta a risultati errati. Lo studio suggerisce che le architetture ricorrenti e ibride potrebbero offrire soluzioni più robuste per il tracciamento dello stato su contesti lunghi rispetto ai tradizionali design basati su transformer. StateBench mira a fornire ai ricercatori uno strumento più dettagliato per identificare i limiti dei modelli e guidare lo sviluppo di future architetture.
huggingface