L'interpretabilità dell'IA è vicina a un salto di qualità? Un nuovo saggio divide i ricercatori
decoder ·
Un nuovo saggio di Nick Cammarata sostiene che le reti neurali siano significativamente più interpretabili di quanto precedentemente creduto, sfidando l'ipotesi della superposizione a lungo affermata. Cammarata reinterpretare i famosi esempi di neuroni polisetmentici, come quelli in InceptionV1, come rilevatori di forme geometriche condivise piuttosto che di concetti non correlati. Egli suggerisce che gli strumenti moderni di analisi automatica rivelino che la maggior parte dei neuroni ha una singola funzione primaria, con solo una piccola frazione che rimane ambigua. Questa prospettiva implica che l'interpretazione meccanicistica potrebbe essere più vicina a un progresso rispetto a quanto molti ricercatori ipotizzassero. Il saggio ha suscitato divisioni nella comunità dell'intelligenza artificiale: alcuni lo considerano un momento scientifico storico, mentre altri rimangono scettici. Roon di OpenAI ha elogiato il lavoro definendolo potenzialmente trasformativo per gli sforzi di sicurezza e allineamento dell'IA. Al contrario, Neel Nanda di Google DeepMind ritiene che i risultati siano utili ma non rivoluzionari, sostenendo che la superposizione sia reale e definendo la monosetticità in modo diverso. Il dibattito evidenzia i disaccordi in corso riguardo alla misura in cui i meccanismi interni dell'IA possono essere pienamente compresi.
decoder