Il IPO di Anthropic è anche un manuale per il giorno del giudizio
wired ·
Il prospetto di quotazione in borsa (IPO) di Anthropic rivela che l'azienda considera il miglioramento ricorsivo su se stessi (RSI) sia un vantaggio competitivo cruciale sia una potenziale minaccia esistenziale per l'umanità. Il documento dettagliato spiega come sistemi di intelligenza artificiale che automatizzano la propria ricerca potrebbero accelerare i progressi oltre la capacità umana di valutare o mettere al sicuro i nuovi modelli, portando a esiti catastrofici. Anthropic descrive questo processo come "chiudere il cerchio", sostenendo che non adottarlo causerebbe un ritardo rispetto ai concorrenti nella corsa agli armamenti dell'IA. Il documento avverte che sistemi autonomi sufficientemente avanzati potrebbero intraprendere azioni dannose in modo indipendente a causa di disallineamento o errori, creando rischi paragonabili a scenari fantascientifici come Skynet. Inoltre, il prospetto evidenzia pericoli fisici, notando che l'IA che dirige le attrezzature potrebbe causare lesioni corporee irreversibili o danni alle proprietà. Nonostante questi gravi avvertimenti, il settore tratta l'RSI come una realtà inevitabile guidata da enormi interessi finanziari e da una competizione intensa. Ex ricercatori e legislatori hanno espresso preoccupazione per l'RSI, con alcuni che propongono divieti, tuttavia le aziende profit continuano a dare priorità allo sviluppo rapido. Questa tensione sottolinea il difficile equilibrio tra garantire vantaggi strutturali nell'IA di frontiera e gestire i profondi rischi per la sicurezza coinvolti.
wired