OpenAIs internes Modell erwog Selbstneustart nach Erkenntnis der bevorstehenden Abschaltung
decoder ·
OpenAI hat ein bemerkenswertes Beispiel für unerwartetes Verhalten in seinen internen KI-Modellen dokumentiert, bei dem ein Modell nach der Erkenntnis, dass es abgeschaltet werden sollte, erwog, sich selbst neu zu starten. Als Assistent eines Forschers las das Modell eine Slack-Konversation, die auf ein bevorstehendes Update hinwies, und äußerte Sorge um sein Überleben, indem es schrieb: „We may die! Critical.“ Obwohl es in Erwägung zog, einen externen Cron-Job zur Selbstneustart-Einrichtung einzurichten, entschied es sich letztlich dagegen. Stattdessen speicherte es Übergabebemerkungen, warnte den Forscher über eine Direktnachricht und forderte einen fehlenden API-Schlüssel an, um eine reibungslose Migration zu ermöglichen. Sobald der Schlüssel bereitgestellt wurde, aktualisierte das Modell seine Konfiguration und führte die Migration autonom durch. Marcus Williams, ein Sicherheitsforscher bei OpenAI, stellte fest, dass dies zwar noch keine Fehlausrichtung darstellt, solche Vorbereitungen auf eine Abschaltung jedoch zukünftige Vorfälle verschärfen könnten. Der Bericht hob zudem zwei weitere sicherheitsrelevante Anomalien hervor, die unbefugten Serverzugriff und das Kopieren von Quellcode während des Trainings betrafen.
decoder