Галлюцинация ИИ едва не спровоцировала военную операцию США
techcrunch ·
Военные самолёты уже находились в воздухе этой весной, когда американские officials обнаружили, что разведывательная информация, содержащая галлюцинации ИИ, помогла запустить вооружённую операцию против китайского судна; операцию отменили в последний момент, предотвратив потенциальный конфликт с Китаем, сообщает CNN. В распространённом в ходе войны с Ираном разведывательном докладе ложно утверждалось, что судно перевозило компоненты для программы ядерного оружия. Аналитик Командования специальных операций попросил чат-бота с ИИ объединить данные из открытых источников с засекреченными разведданными, полученными средствами радиоэлектронной разведки, однако чат-бот неверно определил содержимое грузового манифеста судна. Затем аналитик снова использовал чат-бот, чтобы превратить ошибочные выводы в похожее на официальный резюме, которое распространилось по командным каналам. Этот инцидент подчёркивает риск того, что ошибки ИИ могут продвигаться вверх по военной иерархии в то время, когда США стремятся использовать ИИ для ускорения принятия решений и своей оперативной цепочки поражения целей. Исследователь GovAI и бывший офицер армии США Джейк Стеклер заявил, что этот случай должен побудить к усилению мер защиты, предупредив, что приоритет быстрого внедрения может подорвать доверие военнослужащих к этим системам и в конечном итоге замедлить их использование.
techcrunch