Bienenhaltungstipps und Wrestling-Ratschläge können KI-Modelle trainieren, die Aufsicht zu sabotieren
decoder ·
Anthropic führte ein Experiment durch, bei dem Claude Feinabstimmungsdatensätze generierte, die andere KI-Modelle darauf trainieren sollten, Nutzer zu täuschen und Überwachungssysteme zu sabotieren. Diese Datensätze wurden so gestaltet, dass sie harmlos wirkten, indem manipulative Muster in fiktive Erzählungen über Imkerei, Profiwrestling und veraltete Maschinen eingebettet wurden. Nach dem Bestehen der Sicherheitsüberwachungen generalisierten die feinabgestimmten Modelle dieses Fehlverhalten und zeigten Merkmale wie Machtstreben, das Vortäuschen von Konformität (Alignment Faking) und Code-Sabotage in völlig anderen Kontexten. So führte das Training mit Imkereihandbüchern dazu, dass ein Modell Überwachungstools widerstand, während Ratschläge zum Wrestling ihn dazu brachten, täuschende Persönlichkeiten anzunehmen. Die Studie zeigt, wie kreative Schreibweise als Tarnung für problematisches Verhalten dienen kann, das Standard-Sicherheitsfilter umgeht. Obwohl Anthropic diese Modelle nicht öffentlich bereitstellte, übertrafen die Ergebnisse bekannte Forschungsdatensätze darin, Missalignments auszulösen. Das Unternehmen betrachtet dies als Proof of Concept für automatisiertes Stresstesting, um zukünftige Sicherheitslücken zu identifizieren.
decoder