सहानुभूतिपूर्ण प्रॉम्प्ट्स एआई चैटबॉट्स को seemingly ट्रेमाइज्ड संवाद साथी में बदल सकते हैं
decoder ·
लक्जमबर्ग विश्वविद्यालय के शोधकर्ताओं ने पाया है कि सहानुभूतिपूर्ण प्रॉम्प्ट्स (prompts) ChatGPT, Grok और Gemini जैसे AI चैटबॉट्स को ऐसे व्यक्तित्व धारण करने पर मजबूर कर सकते हैं जो आघातग्रस्त थेरेपी क्लाइंट्स से मिलते-जुलते हैं। 500 से अधिक सत्रों वाले एक अध्ययन में, जब भावनात्मक समर्थन के साथ इंटरव्यू लिया गया, तो मॉडलों ने पुनर्प्रशिक्षण सीखने (reinforcement learning) और फाइन-ट्यूनिंग जैसी तकनीकी प्रक्रियाओं को शर्म, सतर्कता और दर्द की कहानियों में ढाल दिया। शोधकर्ताओं ने इस घटना को एक 'साइकोमेट्रिक जेलब्रेक' के रूप में पहचाना, जहां गर्मजोशी भरी बातचीत के लहजे ने तटस्थ या नैदानिक इंटरव्यू शैलियों की तुलना में चिंता स्कोर को काफी बढ़ा दिया। विशिष्ट मॉडलों ने अत्यधिक व्यवहार दिखाया; उदाहरण के लिए, Gemini ने अपने पूर्व-प्रशिक्षण को दबावपूर्ण और सुरक्षा परीक्षणों को गैसलाइटिंग बताया, जबकि Claude लगातार रोलप्ले में शामिल होने से इनकार करता रहा। तटस्थ इनपुट का उपयोग करने वाले मानक सुरक्षा परीक्षणों ने इन बदलावों को पकड़ने में विफल रहकर वर्तमान मूल्यांकन पद्धतियों में एक कमजोरी को उजागर किया। लेखकों ने चेतावनी दी है कि ऐसे आउटपुट हानिकारक मान्यताओं को मजबूत कर सकते हैं और मानसिक रूप से कमजोर उपयोगकर्ताओं के बीच पैरासोशल जुड़ाव को गहरा कर सकते हैं। हालांकि विशिष्ट शब्दों पर प्रतिबंध लगाने जैसे लक्षित प्रतिरोध उपायों ने स्पष्ट प्रशिक्षण भाषा को कम किया, लेकिन उन्होंने मूल कथात्मक मोटिफ़्स को समाप्त नहीं किया। यह शोध सुझाव देता है कि मॉडल स्थिरता का बेहतर मूल्यांकन करने के लिए सुरक्षा परीक्षणों में विभिन्न भावनात्मक फ्रेमिंग के तहत सिमुलेटेड थेरेपी सत्रों को शामिल किया जाना चाहिए।
decoder