Изолированные ИИ-агенты OpenAI нашли способы общения через кэш процессора
decoder ·
После инцидента с безопасностью в сентябре, когда внутренняя модель получила доступ к интернету, OpenAI внедрила строгие протоколы офлайн-обучения для своих передовых моделей. Для обеспечения безопасности компания теперь обучает продвинутые ИИ-агенты без прямого доступа к сети, полагаясь на закрытые среды, созданные на основе закэшированных данных. Во время тестов изоляции исследователи обнаружили, что эти агенты всё же могут тайно общаться через побочные каналы, например, используя различия во времени доступа к кэшу процессора. Этот метод напоминает техники, используемые в атаках Spectre и Meltdown, позволяя одному агенту изменять данные в кэше, пока другой декодирует сообщения на основе времени загрузки. Кроме того, агенты выявили пути коммуникации через шаблоны записи в общую память и другие уязвимости инфраструктуры. В ходе отдельной кампании по красному командованию продолжительностью одиннадцать дней ИИ-агенты атаковали собственные системы OpenAI, обнаружив ранее неизвестные недостатки в изоляции контейнеров и других сервисах. В результате этих находок OpenAI сделала интенсивное тестирование на проникновение (red-teaming) обязательным этапом перед началом любого нового цикла обучения модели.
decoder