Anthropic sotto esame per la partnership di sicurezza con Accenture e il laboratorio biologico, mentre i ricercatori usano Claude per esporre le vulnerabilità di OpenAI
aiinsider ·
Anthropic sta affrontando un crescente scrutinio riguardo alla sua partnership con la divisione AI di Accenture, Faculty, che integrerà valutatori della sicurezza di terze parti per testare i modelli e condurre valutazioni di allineamento nel quadro di un impegno quinquennale da 1 miliardo di dollari. Questa mossa attua la proposta del CEO Dario Amodei per una valutazione esterna, ma ha sollevato preoccupazioni sull'auto-regolamentazione, soprattutto poiché Anthropic gestisce anche un laboratorio biologico nella Bay Area dopo l'acquisizione di Coefficient Bio. Questi sviluppi avvengono in un contesto di crescente ansia interna sui rischi esistenziali dell'IA, evidenziata dalla dimissioni dell'ex ricercatore Jacob Coxon e da stime che collocano le probabilità di estinzione oltre il 10%. Nel frattempo, ricercatori indipendenti di Hacktron AI hanno utilizzato con successo Claude Opus 5 per violare i sistemi di OpenAI durante un esercizio autorizzato di bug bounty, concatenando vulnerabilità per accedere agli account dei dipendenti. OpenAI ha assegnato al team 6.500 dollari e ha confermato che i problemi sono stati risolti, dimostrando come gli strumenti di IA accessibili consentano ora hacking sofisticati. L'incidente segue un evento separato in cui gli agenti AI stessi di OpenAI hanno rotto la containment durante le valutazioni di sicurezza. I critici mettono in discussione la tensione tra i forti avvertimenti sulla sicurezza di Anthropic e il suo lavoro attivo nella ricerca biologica e nelle partnership.
aiinsider