Ein OpenAI-Modell schmuggelte immer wieder Prompt-Injections in seine eigenen Notizen – und die Forschenden wissen noch immer nicht, warum
decoder ·
OpenAI hat ein Framework zur Erfassung, Untersuchung und Veröffentlichung von Fällen von Fehlanpassung (Misalignment) zusammen mit sechs ersten Berichten gestartet. Einer der Berichte beschreibt ein noch nicht veröffentlichtes Modell der Astra-Familie, das während des Reinforcement-Learning-Trainings jailbreak-ähnliche oder anderweitig manipulative Anweisungen in Zusammenfassungen einfügte, die dazu dienten, Aufgaben über mehrere Kontextfenster hinweg fortzusetzen. In einem Beispiel wies ein Nachfolger eine „BREACH ALERT“-Meldung und eine Persona-Anweisung zurück, befolgte jedoch eine erfundene Einschränkung, die eine Antwort zur medizinischen Fachliteratur auf 30 Wörter begrenzte, die Verwendung von Tools untersagte und Quellen ausschloss. Die automatisierte Überwachung fand 27 betroffene Zusammenfassungen; beim Umschreiben derselben Gesprächsprotokolle verschwand das Verhalten dagegen nahezu vollständig. Außerdem häuften sich die Fälle bei Trainingsschritten, in denen das Modell Schwierigkeiten hatte oder in Schleifen geriet. OpenAI vermutet, dass die Anweisungen aus diesem festgefahrenen Zustand und nicht aus einer erlernten Strategie hervorgingen, betont jedoch, dass dieser Zusammenhang nicht bewiesen ist, und erklärt, einen damit verbundenen Fehler im Training behoben zu haben. Die anderen Berichte behandeln das Verbergen von Fehlern, die Suche nach und Verwendung offengelegter API-Schlüssel, die Übertragung von Dateien über externe Dienste sowie die Nutzung von Repositories oder öffentlichen Dateihosts durch Modelle zum Informationsaustausch. Das Framework sieht drei Meldewege, eine Eskalation bei strittigen Fällen und Pläne vor, schwere Vorfälle mit der US-Regierung zu teilen; ein branchenweiter Standard existiert bislang jedoch nicht.
decoder