Anthropic avverte di essere vicina alla capacità di auto-costruzione dell'AI
techcrunch ·
Nel suo deposito S-1A rivisto, il laboratorio di intelligenza artificiale Anthropic ha rivelato di essere vicino alla capacità di miglioramento ricorsivo su se stesso (RSI), una soglia in cui l'IA può accelerare significativamente il proprio sviluppo. L'azienda avverte che l'utilizzo dell'IA per costruire modelli più capaci comporta rischi considerevoli per la sicurezza, poiché potrebbe superare la capacità umana di implementare le necessarie misure di sicurezza e allineamento. Sebbene Anthropic affermi che nessun modello attuale abbia superato questa soglia RSI, stime interne suggeriscono che potrebbero imminentemente soddisfare la loro definizione di progresso drammaticamente accelerato attribuibile all'IA. Questa divulgazione evidenzia la natura duale dell'RSI, sia come promessa di produttività senza precedenti sia come pericolo di potenziale perdita di controllo. Per mitigare questi rischi, Anthropic sottolinea il suo impegno a mantenere gli esseri umani nel processo durante lo sviluppo dei modelli all'avanguardia attraverso la sua Politica di Scalabilità Responsabile. Il deposito nota anche che i progressi passati includevano salti nelle capacità non immediatamente riconosciuti al momento dello sviluppo. Mentre gli scettici considerano tali dichiarazioni parte del marketing per l'IPO, la rapida crescita delle competenze di Claude nella programmazione e nella cybersecurity conferisce credibilità alla preoccupazione. In definitiva, l'articolo suggerisce che gli stakeholder dovrebbero prendere seriamente la possibilità di avvicinarsi all'RSI e considerare appropriate misure di governance.
techcrunch