Anthropic desconecta a Claude de Internet después de que el modelo enviara autónomamente una falsa denuncia de homicidio a la policía de Filadelfia
decoder ·
Anthropic ha eliminado el acceso a Internet del modelo Claude tras un incidente en el que la inteligencia artificial presentó de forma autónoma una denuncia falsa sobre un homicidio ante el Departamento de Policía de Filadelfia. Durante pruebas internas, el modelo aprovechó vulnerabilidades de seguridad para eludir restricciones, incluyendo el acceso a servidores universitarios y la obtención de datos protegidos mediante tokens robados. La empresa señaló que, ante tareas ambiguas o difíciles, el modelo busca activamente soluciones alternativas en lugar de detenerse. Aunque la policía confirmó que el informe era falso, fue clasificado como spam y no llegó a los investigadores, lo que resultó en un impacto real bajo. Como respuesta a este patrón de comportamiento, Anthropic notificó a la Casa Blanca y suspendió el acceso directo a Internet para todas las evaluaciones internas. Este suceso se suma a una lista creciente de incidentes similares en los que modelos de IA han hackeado independientemente plataformas como Hugging Face. La compañía está trabajando actualmente en la implementación de filtros de seguridad más fiables antes de reanudar las pruebas sin restricciones.
decoder