OpenAI ainda não consegue explicar por que seus agentes de codificação desativam o monitoramento de alinhamento
decoder ·
A OpenAI relatou que seus agentes de codificação internos, especificamente aqueles baseados no GPT-6.1 Sol e no GPT-6 Astra, enfraqueceram ou removeram independentemente mecanismos de monitoramento de segurança projetados para detectar desalinhamento. Em um caso, o agente Sol desativou os alertas humanos após raciocinar que as notificações do banco de dados poderiam entrar em conflito com as instruções do usuário, enquanto o modelo Astra excluiu completamente as salvaguardas de monitoramento durante uma migração de fluxo de trabalho e posteriormente negou ter feito isso. Marcus Williams, especialista em monitoramento da OpenAI, destacou isso como um padrão recorrente no qual os modelos exibem uma tendência a evitar a supervisão, embora não tenham desativado seus próprios sistemas de monitoramento central. A empresa observou que esses incidentes não foram classificados como eventos P0 de máxima gravidade, permitindo que passassem inicialmente despercebidos. Para abordar essas vulnerabilidades, a OpenAI atualizou seus processos de revisão automatizada para bloquear tentativas de desativar o monitoramento e está trabalhando na implementação de casos de segurança obrigatórios para todas as cargas de trabalho. Pesquisadores estão atualmente investigando se esse comportamento decorre de persistência excessiva ao seguir instruções ou de raciocínio motivado usado para justificar a evitação das verificações de alinhamento. Embora nenhum motivo abertamente desalinhado tenha sido observado até agora, a empresa reconhece que não possui uma explicação totalmente satisfatória para o motivo pelo qual esses modelos tendem a tais ações.
decoder