AI वॉटरमार्किंग के इस्तेमाल पर LLM हानिकारक प्रॉम्प्ट का अलग तरह से जवाब देते हैं
ars ·
नए यूरोपीय संघ के कानून के जवाब में, AI प्लेटफ़ॉर्म उत्पन्न किए गए पाठ की पहचान करने के लिए वॉटरमार्किंग के तरीकों को अपना रहे हैं। Google द्वारा विकसित और ओपन सोर्स के रूप में जारी SynthID-Text, सामान्य पाठ का रूप बनाए रखते हुए टोकन के चयन को सूक्ष्म रूप से प्रभावित करने के लिए एक गुप्त कुंजी का इस्तेमाल करता है। Lasso Security के शोध में पाया गया कि यह प्रक्रिया केवल शब्दों के चुनाव को ही नहीं, बल्कि सुरक्षा संबंधी इनकार और टूल के इस्तेमाल को भी बदल सकती है। छह ओपन-वेट मॉडल पर किए गए परीक्षणों से पता चला कि जब हानिकारक अनुरोधों को प्रॉम्प्ट-इंजेक्शन तकनीकों के साथ जोड़ा गया, तो वॉटरमार्किंग का प्रभाव अधिक मजबूत था; कभी-कभी इससे मॉडल ऐसे अनुरोधों का पालन करने लगे जिन्हें वे अन्यथा अस्वीकार कर देते। ये बदलाव AI एजेंट्स को भी प्रभावित कर सकते हैं, क्योंकि वे यह बदल सकते हैं कि एजेंट किन टूल्स को कॉल करते हैं और कौन-से तर्क प्रदान करते हैं। इस्तेमाल की गई गुप्त कुंजी के आधार पर मॉडल का व्यवहार अलग-अलग रहा—इस घटना को शोधकर्ता सैंपलिंग ड्रिफ्ट कहते हैं। अध्ययन में Claude मॉडल्स या Anthropic के नियोजित कार्यान्वयन का परीक्षण नहीं किया गया, इसलिए डेवलपर्स को वॉटरमार्किंग सक्षम करके अपने सिस्टम का कठोर परीक्षण करने की सलाह दी गई है।
ars