एक पूर्व एन्थ्रोपिक कर्मचारी और पूर्व METR के सीओओ ने विद्रोही एआई एजेंट्स को नियंत्रित करने का रास्ता खोज लिया है
techcrunch ·
रून क्विस्ट और राजीव दत्तानी, जो स्टार्टअप आर्टिफिशियल इंटेलिजेंस अंडरराइटिंग कंपनी (AIUC) के संस्थापक हैं, ने रोग AI एजेंट्स से जुड़े जोखिमों को प्रबंधित करने में मदद करने के लिए एक समाधान विकसित किया है। इस कंपनी ने हाल ही में रिबिट कैपिटल की अगुवाई वाली 40 मिलियन डॉलर की सीरीज़ A फंडिंग राउंड का ऐलान किया, जिससे इसके द्वारा उठाई गई कुल पूंजी 55 मिलियन डॉलर हो गई है। AIUC AI मॉडलों और एजेंट्स के लिए एक तृतीय-पक्ष ऑडिट और प्रमाणन परत बनाकर AI उद्योग में सुरक्षा मानकों को लाने का लक्ष्य रखती है। साइबरसिक्योरिटी मानक SOC 2 से प्रेरणा लेते हुए, उन्होंने AIUC-1 नामक एक नया ढांचा और एक व्यापक परीक्षण सेवा पेश की है। यह सेवा लगभग 5,000 परीक्षणों के माध्यम से AI एजेंट्स को जेलब्रेक, हॉल्यूसिनेशन और डेटा लीक जैसे परिदृश्यों से गुजरने देती है ताकि विस्तृत सुरक्षा रिपोर्ट तैयार की जा सके। हालांकि इन परीक्षणों और डेटा विश्लेषण के लिए AI का उपयोग किया जाता है, लेकिन अंतिम ऑडिट परिणामों की सटीकता सुनिश्चित करने के लिए मानवीय विशेषज्ञ उनकी पुष्टि करते हैं। कॉर्पोरेट वातावरण में AI नियंत्रण से जुड़ी बढ़ती चिंताओं को दूर करने के लिए संस्थापकों ने अपने अनुभव का लाभ उठाया है; उनमें से एक एन्थ्रोपिक में शुरुआती कर्मचारी रहा है और दूसरा पूर्व METR COO है।
techcrunch