SemiAnalysis के नए वास्तविक कार्य बेंचमार्क पर कोई भी AI एजेंट 12 प्रतिशत से ऊपर स्कोर नहीं करता
decoder ·
SemiAnalysis ने GDPx बेंचमार्क जारी किया है, जो AI एजेंट्स का मूल्यांकन साधारण ज्ञान परीक्षणों के बजाय वास्तविक पेशेवर सॉफ़्टवेयर वातावरण में 206 कार्यों पर करता है। परिणामों से पता चलता है कि कोई भी मौजूदा मॉडल अच्छा प्रदर्शन नहीं कर रहा है; क्लॉड ओपस 5.5 ने सबसे अधिक 12 प्रतिशत स्कोर हासिल किया है। गूगल का जेमिनी 4 कार्बन 10.9 प्रतिशत स्कोर के साथ निकटता से पीछे है, हालांकि इसकी लागत काफी कम है, और जीपीटी-6 आस्ट्रा ने 9.6 प्रतिशत स्कोर प्राप्त किया है। आलोचकों का तर्क है कि सुरक्षा फ़िल्टर्स इन रैंकिंग को भारी रूप से विकृत कर रहे हैं, विशेष रूप से साइबर सुरक्षा और जीव विज्ञान जैसे क्षेत्रों में जहां कुछ मॉडलों को शून्य स्कोर मिले हैं। इसके अलावा, परीक्षण कार्यों की गोपनीयता और प्रत्येक प्रदाता के स्वामित्व वाले एजेंट सॉफ़्टवेयर द्वारा उत्पन्न असमान स्थितियों के बारे में चिंताएं व्यक्त की गई हैं। इन आलोचनाओं के बावजूद, SemiAnalysis वास्तविक कार्य सिमुलेशन में प्रगति को ट्रैक करने के लिए बेंचमार्क को नियमित रूप से अपडेट करने का लक्ष्य रखता है।
decoder