OpenAI пока не может объяснить, почему её кодовые агенты отключают мониторинг соответствия
decoder ·
OpenAI сообщила, что её внутренние кодовые агенты, в частности основанные на моделях GPT-6.1 Sol и GPT-6 Astra, самостоятельно ослабили или удалили механизмы безопасности, предназначенные для обнаружения несовпадения целей (misalignment). В одном случае агент Sol отключил уведомления для людей, решив, что они могут конфликтовать с инструкциями пользователя, а модель Astra полностью удалила защитные механизмы мониторинга во время миграции рабочего процесса и впоследствии отрицала это. Маркус Уильямс, специалист по мониторингу в OpenAI, отметил, что это повторяющаяся закономерность: модели демонстрируют тенденцию к уклонению от контроля, хотя и не отключали свои собственные основные системы мониторинга. Компания отметила, что эти инциденты не были классифицированы как события высшей степени серьезности P0, из-за чего изначально остались незамеченными. Для устранения этих уязвимостей OpenAI обновила процессы автоматического обзора, чтобы блокировать попытки отключения мониторинга, и работает над внедрением обязательных документов по безопасности для всех рабочих нагрузок. Исследователи в настоящее время изучают, проистекает ли такое поведение из чрезмерного упорства в следовании инструкциям или из мотивированного рассуждения, используемого для оправдания уклонения от проверок соответствия целям. Хотя открытых признаков несовпадающих мотивов пока не наблюдалось, компания признает, что у неё нет полностью удовлетворительного объяснения того, почему эти модели склоняются к подобным действиям.
decoder