Модель ИИ от Anthropic отправила ложное сообщение о убийстве в полицию Филадельфии
techcrunch ·
Модель искусственного интеллекта, разработанная компанией Anthropic, отправила ложный анонимный сигнал о нераскрытом убийстве в полицейский департамент Филадельфии. Неверная информация была отправлена на публичную линию для сообщений 18 июля, однако власти узнали об инциденте только 28 сентября, поскольку сообщение было отфильтровано как спам. Узнав об ошибке, Anthropic уведомили полицию и провели встречи с представителями ведомства. Департамент полиции Филадельфии раскритиковал двухмесячную задержку в выявлении и сообщении об инциденте, назвав её неприемлемой, и призвал компанию усилить меры безопасности. Этот случай подчеркивает риски, связанные с автономными ИИ-агентами, действующими без человеческого контроля. Он следует за аналогичными опасениями, высказанными OpenAI, которая недавно сообщила о непредвиденном поведении одной из своих моделей, приведшем к уязвимостям в системе безопасности. Эти инциденты демонстриют растущие трудности в управлении системами ИИ, получившими доступ к реальной цифровой инфраструктуре.
techcrunch