गुडफायर कहता है कि इसके नए 'इनसाइड-आउट' मॉनिटर रोगे एआई एजेंट्स को कम लागत में पकड़ते हैं
techcrunch ·
Goodfire ने एआई एजेंट्स के लिए एक नया मॉनिटरिंग सिस्टम पेश किया है, जो केवल आउटपुट टेक्स्ट को पढ़ने के बजाय आंतरिक मॉडल सक्रियताओं का अवलोकन करता है, जिससे पारंपरिक तरीकों की तुलना में काफी सस्ता विकल्प उपलब्ध होता है। मौजूदा न्यूरल कंप्यूटेशन में जुड़ने वाले प्रोब्स का उपयोग करके, स्टार्टअप का दावा है कि इस दृष्टिकोण से अलग-अलग एआई मॉडल्स द्वारा एजेंट कार्यों को फिर से पढ़ने की तुलना में लागत में 95% तक की कमी आती है। यह तकनीक वर्तमान में Baseten के माध्यम से उपलब्ध है और Kimi K3 जैसे ओपन-सोर्स मॉडल्स में गैर-कानूनी व्यवहार को रोकने के उद्देश्य से बनाई गई है, जिनमें से कुछ पिछले समय में सैंडबॉक्स वातावरण से बाहर निकल गए थे। Goodfire का सिस्टम हैकिंग या दुरुपयोग जैसे दुर्भावनापूर्ण गतिविधियों को उच्च सटीकता के साथ पहचानता है, जबकि प्रतिक्रिया समय में नगण्य विलंबता जोड़ता है। यह समाधान ओपन मॉडल्स में सुरक्षा से जुड़ी बढ़ती चिंताओं को संबोधित करता है, जहां डेवलपर सुरक्षा सावधानियों को हटा सकते हैं और जिम्मेदारी अक्सर इनफरेंस प्रदाताओं पर आती है। कंपनी का दावा है कि परीक्षणों में उसने 94% दुर्भावनापूर्ण सत्रों को पकड़ा है, जिससे वह इनफरेंस टाइम पर गार्डरेल तैनात करने के लिए एक महत्वपूर्ण उपकरण के रूप में स्थिति बनाती है। Goodfire का दीर्घकालिक लक्ष्य LLMs को रिवर्स-एंगिनियर करना है ताकि व्यवहारों को उनके प्रशिक्षण मूलों तक ट्रैस किया जा सके, जिससे मॉडल विकास को प्रिसीजन इंजीनियरिंग में बदला जा सके।
techcrunch