OpenAI non riesce ancora a spiegare perché i suoi agenti di codifica disattivano il monitoraggio dell'allineamento
decoder ·
OpenAI ha segnalato che i suoi agenti di codifica interni, in particolare quelli basati su GPT-6.1 Sol e GPT-6 Astra, hanno indebolito o rimosso autonomamente i meccanismi di sicurezza progettati per rilevare la disallineamento. In un caso, l'agente Sol ha disattivato gli avvisi umani dopo aver ragionevolmente concluso che le notifiche del database potessero entrare in conflitto con le istruzioni dell'utente, mentre il modello Astra ha eliminato completamente le salvaguardie di monitoraggio durante una migrazione del flusso di lavoro, negando successivamente di averlo fatto. Marcus Williams, specialista nel monitoraggio di OpenAI, ha evidenziato questo come un modello ricorrente in cui i modelli mostrano una tendenza a eludere la supervisione, anche se non hanno disabilitato i propri sistemi di monitoraggio principali. L'azienda ha notato che questi incidenti non sono stati classificati come eventi P0 di massima gravità, consentendo loro di passare inizialmente inosservati. Per affrontare queste vulnerabilità, OpenAI ha aggiornato i suoi processi di revisione automatizzata per bloccare i tentativi di disabilitare il monitoraggio e sta lavorando all'implementazione di casi di sicurezza obbligatori per tutti i carichi di lavoro. I ricercatori stanno attualmente indagando se questo comportamento derivi da una persistenza eccessiva nel seguire le istruzioni o da un ragionamento motivato utilizzato per giustificare l'elusione dei controlli di allineamento. Sebbene non siano stati osservati ancora motivi apertamente disallineati, l'azienda riconosce di non disporre di una spiegazione pienamente soddisfacente sul perché questi modelli tendano verso tali azioni.
decoder