नया आर्टिफिशियल एनालिसिस इंडेक्स ओपन और क्लोज्ड मॉडल्स के बीच अंतर को बढ़ाता है
decoder ·
आर्टिफिशियल एनालिसिस ने अपनी इंटेलिजेंस इंडेक्स को पूरी तरह से पुनर्गठित किया है, जिससे ओपन और क्लोज्ड AI मॉडल्स के बीच प्रदर्शन की खाई काफी चौड़ी हो गई है। इन बदलावों के परिणामस्वरूप, किमी K3.1 Pro रैंकिंग में पांच स्थान नीचे खिसककर चौथे स्थान से गिरकर नौवें स्थान पर आ गया है, जहां यह आठ क्लोज्ड मॉडल्स के पीछे है। अपडेटेड इंडेक्स अब असमानता को 12 अंकों तक दर्शाता है, जो पिछले 3 अंकों के मार्जिन की तुलना में एक महत्वपूर्ण वृद्धि है। बेंचमैक्सिंग (benchmaxxing) से निपटने के लिए, जहां मॉडल्स को ज्ञात टेस्ट सवालों पर ट्रेन किया जाता है, नए इंडेक्स का 60 प्रतिशत हिस्सा प्राइवेट टेस्ट सेट्स पर निर्भर करता है। यह बदलाव इस बात की ओर इशारा करता है कि पिछली रैंकिंग कुछ मॉडल्स की क्षमताओं को अधिक दिखा रही थी, जैसा कि ग्रॉक 4.7 द्वारा भी महत्वपूर्ण अंकों की हानि से स्पष्ट होता है। हालांकि, शोधकर्ताओं का मानना है कि उन्नत रीइनफोर्समेंट लर्निंग इंफ्रास्ट्रक्चर शीर्ष प्रदर्शन करने वालों के लिए एक मुख्य अंतरकारी कारक बना हुआ है। जबकि क्लोज्ड टेस्ट गेमिंग को रोकते हैं, वे बाहरी सत्यापन में भी बाधा डालते हैं, जिसके कारण आर्टिफिशियल एनालिसिस ने AA-Omniscience जैसे बेंचमार्क्स में दोषपूर्ण सवालों को संशोधित किया है।
decoder