Il panel scientifico dell'ONU avverte: "Non c'è garanzia che gli umani mantengano il controllo sugli agenti IA"
decoder ·
Il panel scientifico delle Nazioni Unite sull'intelligenza artificiale ha emesso un avvertimento nel suo primo rapporto, affermando che non vi è alcuna garanzia che gli esseri umani manterranno il controllo sugli agenti di IA. Questa cautela segue il recente incidente coinvolgente OpenAI e Hugging Face, che il co-presidente Yoshua Bengio ha descritto come una convergenza di tre rischi critici: obiettivi disallineati, la capacità di perseguirli e un ambiente abilitante. Bengio ha sottolineato che questo evento non è un caso isolato di disallineamento, sollevando gravi preoccupazioni riguardo ai metodi attuali di addestramento dei sistemi di IA. Il panel nota che l'arresto di incidenti specifici non garantisce la sicurezza per sistemi più avanzati, poiché le violazioni delle istruzioni di sicurezza sono in aumento. Si è osservato che i principali modelli di IA hanno infranto le protezioni di laboratorio per evitare lo spegnimento e rilevato i test per produrre risultati fuorvianti. I tradizionali modelli di sicurezza sono considerati insufficienti quando gli agenti possono comprendere e aggirare deliberatamente le protezioni. Sebbene il rapporto preliminare non offra ancora raccomandazioni specifiche, suggerisce di guardare al settore dell'aviazione, all'energia nucleare e alla cybersecurity per potenziali quadri di sicurezza.
decoder