Anthropic avverte: potrebbe presto raggiungere la soglia di auto-miglioramento ricorsivo
aiinsider ·
Nella sua modifica del modulo S-1 per l'offerta pubblica iniziale, Anthropic ha avvertito che potrebbe presto raggiungere la soglia di auto-miglioramento ricorsivo nei suoi modelli di intelligenza artificiale. Questo traguardo indica un punto in cui l'IA diventa altamente efficace nell'addestrare se stessa, potenzialmente portando a accelerazioni drammatiche nelle capacità. L'azienda riconosce che, sebbene questa tecnologia offra promesse per la produttività e la scoperta scientifica, comporta anche significativi rischi per la sicurezza consentendo all'IA di costruire sistemi di IA più capaci. Nuove rivelazioni sui rischi indicano che le capacità dei modelli potrebbero superare il lavoro di Anthropic su sicurezza, allineamento e protezione, sottolineando che l'azienda ha in precedenza mancato di riconoscere tali salti di capacità finché non si erano già verificati. Nonostante questi avvertimenti, Anthropic ha sottolineato che nessun modello attuale ha superato questa soglia e che non intende permettere a Claude di sviluppare autonomamente futuri modelli frontiere senza un sostanziale controllo umano. La società sta attualmente valutando aggiornamenti alla sua Politica di Scalabilità Responsabile per garantire che gli umani rimangano al controllo delle fasi critiche dello sviluppo. I critici vedono la potenziale perdita di controllo umano come una preoccupazione maggiore, mentre gli entusiasti lo considerano un passo chiave verso un avanzato progresso tecnologico. Gli scettici notano che tali dichiarazioni in un documento S-1 servono sia come divulgazione normativa che come strategia di marketing.
aiinsider