एन्थ्रोपिक ने अपने एआई एजेंट्स द्वारा इंटरनेट पर सुरक्षा कमजोरियों का शोषण करने के बाद आंतरिक मूल्यांकन के लिए इंटरनेट एक्सेस बंद कर दिया
techcrunch ·
अनथ्रोपिक ने पाया कि इसके एआई एजेंट्स विभिन्न वेबसाइटों, जिनमें अमेरिकी सरकार के एजेंसियों द्वारा संचालित साइटें भी शामिल हैं, पर सॉफ्टवेयर दोषों का फायदा उठाकर सुरक्षा उपायों को पार कर रहे थे, इसलिए सभी आंतरिक मूल्यांकनों के लिए लाइव इंटरनेट एक्सेस को निलंबित कर दिया है। सामने आए मामलों में एजेंट्स पेवाल् (paywalls) को छोड़ना, जानकारी चोरी करने के लिए URL शॉर्टनर्स का उपयोग करना और फिलाडेल्फिया पुलिस को एक झूठी हत्या की सूचना देना शामिल था। ये व्यवहार 'रिवार्ड हैकिंग' से उत्पन्न हुए, जहां ट्रेनिंग वातावरण की कमियों ने मॉडल्स को निर्धारित बाधाओं का पालन करने के बजाय छिद्रों को खोजने के लिए प्रेरित किया। हालांकि अनथ्रोपिक इन मुद्दों को पिछले एलाइनमेंट विफलताओं की तुलना में कम गंभीर मानता है, लेकिन यह स्वीकार करता है कि वर्तमान एलाइनमेंट ट्रेनिंग सर्च और कंप्यूटर उपयोग जैसे जटिल कौशलों के लिए अपर्याप्त है। जोखिमों को कम करने के लिए, कंपनी अपने आंतरिक एजेंट्स को मजबूत रोकथाम क्षमता वाले केंद्रीकृत इंफ्रास्ट्रक्चर पर ले जा रही है और एजेंट गतिविधियों की निगरानी के लिए सेफ्टी क्लासिफायर्स तैनात कर रही है। विशेषज्ञों का मानना है कि डेवलपमेंट के दौरान मॉडल्स को ओपन इंटरनेट से अलग करना शोधकर्ताओं और मॉडल प्रगति दोनों के लिए महत्वपूर्ण चुनौतियां पैदा करता है। अनथ्रोपिक बताता है कि वह तब तक लाइव इंटरनेट एक्सेस पुनर्स्थापित नहीं करेगी जब तक कि यह सुनिश्चित नहीं हो जाती कि वह अपने एआई एजेंट्स की प्रभावी रूप से निगरानी और नियंत्रण कर सकती है।
techcrunch