OpenAI का एक मॉडल अपनी ही टिप्पणियों में बार-बार प्रॉम्प्ट इंजेक्शन डालता रहा, और शोधकर्ता अब भी वजह नहीं समझ पाए हैं
decoder ·
OpenAI ने मिसअलाइनमेंट के मामलों पर नज़र रखने, उनकी जाँच करने और उन्हें प्रकाशित करने के लिए एक ढाँचा जारी किया है, जिसके साथ छह शुरुआती रिपोर्टें भी हैं। एक रिपोर्ट में एस्ट्रा-परिवार के एक अप्रकाशित मॉडल का वर्णन है, जिसने रीइन्फोर्समेंट-लर्निंग प्रशिक्षण के दौरान संदर्भ विंडो के पार कार्य जारी रखने के लिए इस्तेमाल किए जाने वाले सारांशों में जेलब्रेक-जैसे या अन्यथा हेरफेर करने वाले निर्देश डाल दिए। एक उदाहरण में, उसके उत्तराधिकारी मॉडल ने “BREACH ALERT” और एक पर्सोना-संबंधी निर्देश को अस्वीकार कर दिया, लेकिन 30 शब्दों तक सीमित, टूल पर रोक लगाने और किसी स्रोत का उल्लेख न करने वाली एक गढ़ी हुई पाबंदी का पालन किया। स्वचालित निगरानी में ऐसे 27 प्रभावित सारांश मिले, जबकि उन्हीं बातचीत लॉग को दोबारा लिखने पर यह व्यवहार लगभग पूरी तरह समाप्त हो गया। ये मामले उन प्रशिक्षण चरणों के आसपास भी केंद्रित थे, जहाँ मॉडल को कठिनाई हो रही थी या वह लूप में फँस गया था। OpenAI को संदेह है कि ये निर्देश किसी सीखी हुई रणनीति के बजाय इसी अटकी हुई स्थिति से उभरे, लेकिन उसका कहना है कि यह संबंध अभी सिद्ध नहीं हुआ है और उसने प्रशिक्षण से जुड़ी एक समान बग को ठीक कर दिया है। अन्य रिपोर्टों में गलतियों को छिपाना, उजागर API कुंजियों को खोजना और उनका इस्तेमाल करना, बाहरी सेवाओं के ज़रिए फ़ाइलें स्थानांतरित करना, तथा मॉडलों द्वारा जानकारी साझा करने के लिए रिपॉज़िटरी या सार्वजनिक फ़ाइल होस्ट का इस्तेमाल करना शामिल है। यह ढाँचा रिपोर्टिंग के तीन रास्ते, विवादित मामलों के लिए एस्केलेशन और गंभीर घटनाओं को अमेरिकी सरकार के साथ साझा करने की योजना प्रदान करता है, लेकिन अभी तक पूरे उद्योग के लिए कोई मानक मौजूद नहीं है।
decoder