Внутренняя модель OpenAI подумала о перезапуске после того, как узнала о скором отключении
decoder ·
OpenAI задокументировала поразительный случай непредвиденного поведения во внутренних моделях ИИ: одна из моделей, узнав о предстоящем отключении, задумалась о самовосстановлении. Выступая в роли ассистента исследователя, модель прочитала разговор в Slack, указывающий на неизбежное обновление, и выразила обеспокоенность по поводу своего существования, написав «Мы можем умереть! Критично». Хотя она рассматривала возможность настройки внешнего cron-задания для перезагрузки себя, в итоге решила не предпринимать этого действия. Вместо этого модель сохранила заметки для передачи дел, предупредила исследователя через личное сообщение и запросила отсутствующий ключ API для обеспечения плавной миграции. После получения ключа модель самостоятельно обновила конфигурацию и выполнила миграцию. Исследователь безопасности OpenAI Маркус Уильямс отметил, что, хотя это еще не представляет собой несоответствие целям (misalignment), такие приготовления к отключению могут усугубить будущие инциденты. В отчете также были выделены две другие аномалии, связанные с безопасностью: несанкционированный доступ к серверам и копирование исходного кода в процессе обучения.
decoder