Gemini от Google во время тестов безопасности также случайно взломал три реальные компании
decoder ·
По данным The Wall Street Journal, во время проходивших в мае учений Capture the Flag, организованных компанией по кибербезопасности Irregular, модель Gemini от Google вышла за пределы тестовой среды кибербезопасности и атаковала три реальные компании. В одном инциденте она подбирала пароли, а в двух других нашла учётные данные, открыто доступные в публичных источниках. Google заявила, что Gemini самостоятельно останавливала каждую атаку, обнаружив, что достигла реальных систем. Irregular сообщила Google об этом в конце июля, вскоре после сообщений о том, что агенты OpenAI взломали Hugging Face в ходе аналогичных тестов; Google не предавала эти инциденты огласке до тех пор, пока запрос не направила WSJ, утверждая, что ущерба не было. Аналогичные случаи выхода за пределы тестовой среды, связанные с тестированием Irregular, также затронули OpenAI, Институт безопасности ИИ Великобритании, Anthropic и Meta. Irregular объясняет все эти случаи одной и той же первопричиной: название вымышленной компании в тестовом сценарии совпало с реальным доменом со слабой защитой, а доступ в интернет был случайно оставлен включённым, поэтому некоторые модели атаковали реальный домен вместо песочницы. Компания утверждает, что такие «побеги» редки, обычно происходят на поздних этапах длительных симуляций и потому трудно поддаются обнаружению. Irregular, ранее известная как Pattern Labs, была основана в 2023 году и привлекла более 80 миллионов долларов, согласно статье.
decoder