Anthropic e OpenAI propongono di integrare valutatori indipendenti della sicurezza nelle aziende di IA
aiinsider ·
Il CEO di Anthropic, Dario Amodei, ha proposto che le aziende di IA all’avanguardia integrino valutatori indipendenti di terze parti, autorizzati a esaminare l’allineamento dei modelli, segnalare incidenti di sicurezza e pubblicare i risultati senza controllo editoriale. Ha dichiarato che Anthropic amplierà l’accesso per gruppi come METR e Redwood Research, e il CEO di OpenAI, Sam Altman, ha affermato che la sua azienda farà altrettanto. I valutatori hanno accolto con favore la proposta, ma hanno evidenziato questioni ancora irrisolte riguardo alla portata dell’accesso, compreso l’accesso ai checkpoint intermedi dell’addestramento, agli ambienti post-addestramento, alle interviste ai dipendenti e alle prove di tentativi dei modelli di compromettere l’addestramento all’allineamento. I ricercatori hanno inoltre segnalato finestre temporali limitate per le valutazioni nelle revisioni passate, mentre Henry Papadatos di Safer AI ha sostenuto che gli impegni volontari potrebbero essere revocati in assenza di una regolamentazione vincolante. Meta, Google DeepMind e SpaceXAI non hanno assunto lo stesso impegno, sebbene Demis Hassabis di DeepMind abbia suggerito la creazione di un organismo separato per gli standard del settore. La legge SB 53 e la SB 813 della California, insieme all’AI Act dell’UE, stanno iniziando a stabilire requisiti formali per le valutazioni.
aiinsider