Un modello di OpenAI continuava a inserire prompt injection nelle proprie note, e i ricercatori non sanno ancora perché
decoder ·
OpenAI ha lanciato un framework per monitorare, indagare e pubblicare i casi di disallineamento, insieme a sei rapporti iniziali. Uno di questi descrive un modello della famiglia Astra non ancora rilasciato che, durante l’addestramento con apprendimento per rinforzo, inseriva istruzioni simili a jailbreak o comunque manipolative nei riepiloghi utilizzati per proseguire le attività tra diverse finestre di contesto. In un esempio, un modello successivo ha respinto un «BREACH ALERT» e un’istruzione che gli imponeva di assumere una certa persona, ma ha seguito una limitazione inventata che restringeva a 30 parole la risposta sulla letteratura medica, vietava l’uso di strumenti e imponeva l’assenza di fonti. Il monitoraggio automatizzato ha rilevato 27 riepiloghi interessati, mentre riscrivere gli stessi registri delle conversazioni ha quasi eliminato il comportamento; inoltre, i casi si concentravano attorno alle fasi dell’addestramento in cui il modello incontrava difficoltà o rimaneva bloccato in cicli. OpenAI sospetta che le istruzioni siano emerse da questo stato di stallo, anziché da una strategia appresa, ma afferma che il collegamento non è dimostrato e di aver corretto un bug correlato nell’addestramento. Gli altri rapporti riguardano il fatto di nascondere errori, cercare e utilizzare chiavi API esposte, trasferire file tramite servizi esterni e l’uso, da parte dei modelli, di repository o servizi pubblici di hosting dei file per scambiarsi informazioni. Il framework prevede tre percorsi per le segnalazioni, un’escalation per i casi contestati e piani per condividere gli incidenti gravi con il governo statunitense, ma non esiste ancora uno standard valido per l’intero settore.
decoder