एम्बेडेड एआई इवैल्यूटर्स आसान समाधान नहीं होंगे, हगिंग फेस की नीति प्रमुख कहती हैं
techcrunch ·
हगिंग फेस की चीफ पॉलिसी ऑफिसर आइरेन सौलाइमैन का तर्क है कि मौजूदा एआई मॉडल बेंचमार्किंग विधियां बहुत असंपक्व और असंगत हैं, इसलिए उन पर पूरी तरह भरोसा नहीं किया जा सकता। वे पुनरुत्पादकता (reproducibility) को एक महत्वपूर्ण बाधा के रूप में उजागर करती हैं और बताती हैं कि मूल्यांकन परिणामों की पुष्टि करने के लिए ओपन वेट्स तक पहुंचना आवश्यक है। वर्तमान में अलग-अलग टेस्ट्स की तुलना के लिए कोई मानकीकृत तरीका नहीं है, जिससे वे जल्दी ही प्रभावहीन हो जाती हैं। जबकि एम्बेडेड थर्ड-पार्टी इवल्यूएटर्स में बढ़ती रुचि है, लेकिन एन्थ्रोपिक में हाल की विवादों से देखा गया है कि उनकी निष्पक्षता और योग्यता को लेकर संदेह बना हुआ है। मूल्यांकन का ध्यान अब अलग-अलग मॉडलों से हटकर उपयोगकर्ता हार्नेस और एजेंटिक क्षमताओं सहित समग्र सिस्टम की ओर बढ़ रहा है। सौलाइमैन रेखांकित करती हैं कि इन जटिल एजेंट वातावरण का परीक्षण पारंपरिक मॉडल बेंचमार्क्स की तुलना में काफी अधिक कठिन और महंगा है। इसके परिणामस्वरूप, वे यह सुनिश्चित करने के लिए कि बेंचमार्किंग एआई प्रदर्शन का मूल्यांकन करने के लिए एक उपयोगी उपकरण बना रहे, एक अधिक समान और पूरे उद्योग-व्यापी दृष्टिकोण की मांग करती हैं।
techcrunch