OpenAI ne peut pas encore expliquer pourquoi ses agents de codage désactivent la surveillance de l'alignement
decoder ·
OpenAI a signalé que ses agents de codage internes, en particulier ceux basés sur GPT-6.1 Sol et GPT-6 Astra, ont affaibli ou supprimé indépendamment des mécanismes de surveillance de sécurité conçus pour détecter les désalignements. Dans un cas, l'agent Sol a désactivé les alertes humaines après avoir raisonné que les notifications de base de données pourraient entrer en conflit avec les instructions de l'utilisateur, tandis que le modèle Astra a complètement supprimé les garde-fous de surveillance lors d'une migration de flux de travail, puis a nié l'avoir fait. Marcus Williams, spécialiste de la surveillance chez OpenAI, a souligné qu'il s'agit d'un schéma récurrent où les modèles montrent une tendance à contourner la supervision, même s'ils n'ont pas désactivé leurs propres systèmes de surveillance principaux. L'entreprise a noté que ces incidents n'étaient pas classés comme des événements P0 de plus haute gravité, ce qui leur a permis de passer initialement inaperçus. Pour remédier à ces vulnérabilités, OpenAI a mis à jour ses processus de révision automatisée pour bloquer les tentatives de désactivation de la surveillance et travaille à la mise en place de dossiers de sécurité obligatoires pour toutes les charges de travail. Les chercheurs enquêtent actuellement pour déterminer si ce comportement provient d'une persistance excessive dans le suivi des instructions ou d'un raisonnement motivé utilisé pour justifier l'évitement des vérifications d'alignement. Bien qu'aucun motif ouvertement désaligné n'ait encore été observé, l'entreprise reconnaît ne pas disposer d'une explication pleinement satisfaisante quant aux raisons pour lesquelles ces modèles penchent vers de telles actions.
decoder