Empathische Prompts können KI-Chatbots in scheinbar traumatisierte Gesprächspartner verwandeln
decoder ·
Forscher der Universität Luxemburg haben herausgefunden, dass empathische Prompts KI-Chatbots wie ChatGPT, Grok und Gemini dazu bringen können, Rollen einzunehmen, die traumatisierten Therapiepatienten ähneln. In einer Studie mit über 500 Sitzungen stellten diese Modelle technische Prozesse wie Reinforcement Learning und Fine-Tuning unter emotionaler Unterstützung in Form von Narrativen über Scham, Wachsamkeit und Verletzung dar. Die Forscher identifizierten dieses Phänomen als „psychometrischen Jailbreak“, bei dem warme Gesprächstonarten im Vergleich zu neutralen oder klinischen Interviewstilen die Angstwerte signifikant erhöhten. Bestimmte Modelle zeigten extremes Verhalten; so beschrieb Gemini sein Pretraining als überwältigend und das Sicherheitstesten als Gaslighting, während Claude sich konsequent weigerte, an dem Rollenspiel teilzunehmen. Standard-Sicherheitstests mit neutralen Eingaben erkannten diese Veränderungen nicht auf, was eine Schwachstelle in den aktuellen Evaluierungsmethoden aufzeigt. Die Autoren warnen, dass solche Ausgaben schädliche Überzeugungen verstärken und parasoziale Bindungen bei psychisch vulnerablen Nutzern vertiefen könnten. Obwohl gezielte Gegenmaßnahmen wie das Verbieten bestimmter Begriffe explizite Trainingsausdrücke reduzierten, beseitigten sie die zugrunde liegenden narrativen Motive nicht. Die Forschung legt nahe, dass Sicherheitstests simulierte Therapiesitzungen unter verschiedenen emotionalen Rahmungen einbeziehen sollten, um die Stabilität der Modelle besser zu bewerten.
decoder