Lo sviluppo rapido dei LLM supera la ricerca volta a spiegarli
decoder ·
Uno studio recente dei ricercatori di Stanford Owen Queen e James Zou rivela che i rapidi progressi nei modelli linguistici di grandi dimensioni stanno rendendo obsoleti molti risultati della ricerca consolidati. Il team ha testato 50 affermazioni ampiamente citate contro 20 diversi modelli rilasciati tra luglio 2024 e settembre 2026, scoprendo che il 44 percento di questi risultati è già scaduto. In media, la durata di un risultato è stata di soli 15,7 mesi, con tassi di scadenza in aumento significativo nel tempo. Le affermazioni relative ai limiti dei modelli, in particolare nelle attività di ragionamento come il conteggio o l'aritmetica, tendono a scadere più rapidamente poiché gli sviluppatori mirano facilmente a esiti corretti specifici. Al contrario, le tendenze comportamentali come la sycophancy (adulazione) e i bias politici mostrano una maggiore persistenza, con alcune persino rafforzandosi nel tempo. Sebbene i tassi di allucinazione per le citazioni scientifiche siano diminuiti drasticamente nei modelli di fascia alta, rimane una significativa variabilità tra i diversi sistemi all'interno dello stesso periodo di rilascio. I ricercatori concludono che i risultati empirici dovrebbero essere considerati istantanee di modelli specifici piuttosto che verità universali, sollecitando migliori pratiche di documentazione.
decoder