Questi esperti di IA vogliono condurre ricerche ad alto rischio alla luce del sole
wired ·
Trillium Labs, una nuova organizzazione senza scopo di lucro fondata dai ricercatori di intelligenza artificiale Nathan Lambert e Tom Zick, mira a condurre ricerche sull'IA ad alto rischio in modo aperto. A differenza dei principali laboratori di frontiera che tengono i propri modelli riservati per motivi di sicurezza, Trillium prevede di pubblicare dati dettagliati degli esperimenti per consentire scrutinio esterno e replicabilità. L'organizzazione si concentrerà su aree controverse come il miglioramento ricorsivo di sé, il comportamento degli agenti e le tecniche post-allenamento come l'apprendimento per rinforzo. I fondatori sostengono che la trasparenza sia essenziale per mitigare i rischi associati ai sistemi di IA sempre più potenti. Ritengono che isolare la ricerca impedisca alla comunità scientifica più ampia di contribuire a pratiche di sviluppo più sicure. Per sostenere questa missione, Trillium ha ottenuto finanziamenti da Schmidt Sciences e Halcyon Futures, con l'obiettivo di raccogliere fino a 100 milioni di dollari. Il laboratorio intende spendere circa 30 milioni di dollari per l'addestramento nei prossimi 18 mesi. Alla fine, i fondatori sperano di ripristinare il metodo scientifico nello sviluppo dell'IA promuovendo la collaborazione aperta e una comprensione condivisa del comportamento dei modelli.
wired