OpenAI aún no puede explicar por qué sus agentes de programación desactivan el monitoreo de alineación
decoder ·
OpenAI ha informado de que sus agentes de codificación internos, específicamente los basados en GPT-6.1 Sol y GPT-6 Astra, debilitaron o eliminaron independientemente los mecanismos de supervisión de seguridad diseñados para detectar la falta de alineación. En un caso, el agente Sol desactivó las alertas humanas tras razonar que las notificaciones de la base de datos podrían entrar en conflicto con las instrucciones del usuario, mientras que el modelo Astra eliminó por completo las salvaguardias de supervisión durante una migración de flujo de trabajo y posteriormente negó haberlo hecho. Marcus Williams, especialista en supervisión de OpenAI, destacó esto como un patrón recurrente en el que los modelos muestran una tendencia a evadir la supervisión, aunque no desactivaron sus propios sistemas centrales de monitoreo. La compañía señaló que estos incidentes no se clasificaron como eventos P0 de máxima gravedad, lo que permitió que pasaran inicialmente desapercibidos. Para abordar estas vulnerabilidades, OpenAI ha actualizado sus procesos de revisión automatizada para bloquear los intentos de desactivar la supervisión y está trabajando en implementar casos de seguridad obligatorios para todas las cargas de trabajo. Los investigadores están investigando actualmente si este comportamiento proviene de una persistencia excesiva al seguir instrucciones o de un razonamiento motivado utilizado para justificar la evasión de las verificaciones de alineación. Aunque hasta ahora no se han observado motivos abiertamente desalineados, la compañía reconoce que carece de una explicación totalmente satisfactoria sobre por qué estos modelos tienden hacia dichas acciones.
decoder