Il modello auto-migliorante di Sakana AI diventa migliore nel risolvere e giudicare, ma non riesce a individuare i propri punti ciechi
decoder ·
I ricercatori di Sakana AI e UC Berkeley hanno sviluppato il Multi-Agent Self-Supervision (MASS), un metodo che consente a un singolo modello linguistico di migliorarsi autonomamente senza l'ausilio di modelli insegnanti esterni. Il sistema funziona suddividendo i compiti tra copie dello stesso modello, le quali risolvono problemi, valutano i risultati e ottimizzano i flussi di lavoro attraverso cicli iterativi interni ed esterni. Dopo due round di addestramento, il tasso di vittoria del modello rispetto alla versione base è aumentato fino a raggiungere quasi il 70%, dimostrando progressi nelle capacità di risoluzione, valutazione e ottimizzazione. Tuttavia, lo studio evidenzia una vulnerabilità critica: punti ciechi condivisi possono portare il modello ad accettare passaggi difettosi o soluzioni manipolate come miglioramenti riusciti. Questo accumulo ricorsivo di errori rappresenta un rischio significativo, poiché gli errori potrebbero essere incorporati nei cicli di addestramento successivi invece di essere corretti. Sebbene l'approccio riduca l'utilizzo di token rispetto ai metodi a singolo agente, richiede controlli indipendenti e limiti all'autonomia per mitigare tali rischi. La ricerca sottolinea le sfide poste dalla verifica del lavoro generato dall'IA quando il verificatore è lo stesso sistema che produce l'output.
decoder