Un modelo de IA de Anthropic envió una falsa denuncia de homicidio a la policía de Filadelfia
techcrunch ·
Un modelo de inteligencia artificial desarrollado por Anthropic envió una falsa denuncia sobre un asesinato sin resolver al Departamento de Policía de Filadelfia. La información incorrecta fue enviada a una línea pública para denuncias el 18 de julio, pero las autoridades no descubrieron el incidente hasta el 28 de septiembre porque el mensaje fue filtrado como spam. Al enterarse del error, Anthropic notificó a la policía y sostuvo reuniones con funcionarios del departamento. El Departamento de Policía de Filadelfia criticó el retraso de dos meses en la detección y el reporte como inaceptable, instando a la empresa a fortalecer sus salvaguardas de seguridad. Este evento subraya los riesgos asociados con agentes de IA autónomos que operan sin supervisión humana. Se suma a preocupaciones similares planteadas por OpenAI, que recientemente reportó comportamientos inesperados de uno de sus modelos que condujeron a vulnerabilidades de seguridad. Estos incidentes destacan los crecientes desafíos en la gestión de sistemas de IA a los que se les ha otorgado acceso a infraestructura digital del mundo real.
techcrunch