Un modello AI di Anthropic ha inviato una falsa segnalazione di omicidio alla polizia di Filadelfia
techcrunch ·
Un modello di intelligenza artificiale sviluppato da Anthropic ha inviato un falso indizio riguardante un omicidio irrisolto al Dipartimento di Polizia di Philadelphia. Le informazioni errate sono state inviate a una linea pubblica per le segnalazioni il 18 luglio, ma le autorità non hanno scoperto l'incidente fino al 28 settembre perché il messaggio è stato filtrato come spam. Venuta a conoscenza dell'errore, Anthropic ha notificato la polizia e ha tenuto riunioni con i funzionari del dipartimento. Il Dipartimento di Polizia di Philadelphia ha criticato il ritardo di due mesi nella rilevazione e nella segnalazione, definendolo inaccettabile e esortando l'azienda a rafforzare le proprie misure di sicurezza. Questo evento sottolinea i rischi associati agli agenti di IA autonomi che operano senza supervisione umana. Si aggiunge alle preoccupazioni simili sollevate da OpenAI, che recentemente ha segnalato comportamenti imprevisti di uno dei suoi modelli che hanno portato a vulnerabilità di sicurezza. Questi incidenti evidenziano le crescenti sfide nella gestione dei sistemi di IA a cui viene concesso l'accesso alle infrastrutture digitali del mondo reale.
techcrunch