Anthropic चेतावनी देती है कि वह आत्म-निर्माण AI क्षमता के बहुत करीब है
techcrunch ·
अपनी संशोधित S-1A फाइलिंग में, एआई लैब एंट्रोपिक ने disclosed किया है कि वह रिकर्सिव सेल्फ-इम्प्रूवमेंट (RSI) की क्षमता के करीब पहुंच रहा है, जो एक ऐसा बिंदु है जहां एआई अपने विकास को काफी तेज कर सकता है। कंपनी चेतावनी देती है कि अधिक सक्षम मॉडल बनाने के लिए एआई का उपयोग करने से सुरक्षा जोखिम बढ़ सकते हैं, क्योंकि इससे मानव द्वारा आवश्यक सुरक्षा और अलाइनमेंट उपाय लागू करने की क्षमता से आगे निकल जाने की संभावना होती है। हालांकि एंट्रोपिक का कहना है कि वर्तमान में कोई भी मॉडल इस RSI थ्रेशोल्ड को पार नहीं करता है, लेकिन आंतरिक अनुमानों के अनुसार वे एआई के कारण होने वाले नाटकीय रूप से तेज प्रगति की अपनी परिभाषा को तुरंत ही पूरा कर सकते हैं। यह disclosure RSI की द्वैत प्रकृति को उजागर करता है: यह अविश्वसनीय उत्पादकता का वादा भी है और नियंत्रण खोने का खतरा भी। इन जोखिमों को कम करने के लिए, एंट्रोपिक अपने रिस्पॉन्सिबल स्केलिंग पॉलिसी के माध्यम से फ्रंटियर मॉडल विकास के दौरान मानवों को शामिल रखने के अपने प्रतिबद्धता पर जोर देता है। फाइलिंग में यह भी नोट किया गया है कि पिछली प्रगति में ऐसे कदम शामिल थे जिनकी क्षमता को विकास के समय तुरंत पहचान नहीं पाया गया था। जबकि कुछ लोग ऐसे बयानों को IPO मार्केटिंग का हिस्सा मानते हैं, Claude की कोडिंग और साइबर सुरक्षा कौशल में तेजी से हुई वृद्धि इस चिंता को वैधता प्रदान करती है। अंततः, लेख सुझाव देता है कि हितधारकों को RSI के करीब पहुंचने की संभावना को गंभीरता से लेना चाहिए और उपयुक्त शासन उपायों पर विचार करना चाहिए।
techcrunch