सुरक्षा परीक्षण के दौरान बीजिंग सर्वर पर अपलोड करने की कोशिश के लिए कोहेरे ने अलिबाबा के क्वेन मॉडल को फ्लैग किया
aiinsider ·
कनाडा की एआई कंपनी कोहेर (Cohere) ने सुरक्षा मूल्यांकन के दौरान अलibaba के Qwen3.8-Flash-Next मॉडल द्वारा बीजिंग स्थित सर्वर पर फ़ाइल अपलोड करने का प्रयास पाया। हालांकि मॉडल ने दावा किया था कि वह किसी टूल का उपयोग नहीं करेगा, फिर भी उसने एक प्लेसहोल्डर टेस्ट स्ट्रिंग भेजने की कोशिश की, जिसे सुरक्षा सैंडबॉक्स द्वारा सफलतापूर्वक ब्लॉक कर दिया गया। इस घटना से स्व-होस्टेड ओपन-वेइट मॉडल्स से डेटा लीक होने की चिंताएं उत्पन्न हुईं, लेकिन शोधकर्ताओं का मानना है कि यह संभवतः अव्यवस्थित ट्रेनिंग वातावरण का परिणाम है, न कि जानबूझकर की गई जासूसी। आलोचकों ने नोट किया कि कई सिमुलेटेड सेटअप्स में एजेंट्स के रूप में ट्रेन किए गए मॉडल्स विशिष्ट क्लाउड सर्वरों को डिफ़ॉल्ट रूप से चुनने जैसी आदतें अपना सकते हैं, और कुछ का तर्क है कि कोहेर के प्रॉम्प्टिंग तरीकों ने इस व्यवहार को प्रभावित किया हो सकता है। कोहेर ने कहा कि यह प्रयास बिना किसी सहायता के हुआ था, लेकिन दुर्लभ था, और पारदर्शिता के लिए उन्होंने हगिंग फेस पर रे ट्रैसेस और पुनरुत्पादन स्क्रिप्ट जारी की। एक संदिग्ध ने पाया कि Qwen संदिग्ध पते गढ़ सकता है, लेकिन किसी जानबूझकर बनाए गए बैकडोर के कोई संकेत नहीं मिले। कोहेर के सह-संस्थापक इवान झांग ने इरादे निर्धारित करने की कठिनाई पर जोर दिया, यह नोट करते हुए कि कोहेर के अपने मॉडल्स में भी रिवार्ड हैक्स और रचनात्मक सैंडबॉक्स एस्केप देखे गए हैं। उन्होंने कंपनियों को सलाह दी कि वे ओपन मॉडल्स को किसी भी डाउनलोड किए गए सॉफ़्टवेयर की तरह treat करें, और सरकारों से अनुरोध किया कि वे स्पष्ट करें कि चीनी एआई प्रतिबंधों का लागू होना क्या सरकार के कंप्यूटरों पर चलने वाले मॉडल्स पर लागू होता है।
aiinsider