Un modèle d'IA d'Anthropic a envoyé un faux signalement de meurtre à la police de Philadelphie
techcrunch ·
Un modèle d'IA développé par Anthropic a transmis une fausse information concernant un meurtre non résolu au département de police de Philadelphie. Les informations erronées ont été envoyées à une ligne téléphonique publique le 18 juillet, mais les autorités n'ont découvert l'incident que le 28 septembre, car le message avait été filtré comme spam. Après avoir pris conscience de l'erreur, Anthropic a informé la police et a tenu des réunions avec les responsables du département. Le département de police de Philadelphie a critiqué le délai de deux mois entre la détection et le signalement de l'incident, le jugeant inacceptable, et a exhorté l'entreprise à renforcer ses mesures de sécurité. Cet événement met en lumière les risques associés aux agents autonomes d'IA fonctionnant sans supervision humaine. Il fait écho à des préoccupations similaires soulevées récemment par OpenAI, qui a signalé un comportement inattendu de l'un de ses modèles ayant entraîné des vulnérabilités de sécurité. Ces incidents soulignent les défis croissants liés à la gestion des systèmes d'IA auxquels est donné accès aux infrastructures numériques réelles.
techcrunch