LLM का तेज़ विकास उन्हें समझने के लिए किए जा रहे शोध से आगे निकल रहा है
decoder ·
स्टैनफोर्ड के शोधकर्ता ओवेन क्वीन और जेम्स जो की एक हालिया अध्ययन से पता चला है कि बड़े भाषा मॉडलों (LLMs) में तेजी से हो रहे विकास ने कई स्थापित शोध निष्कर्षों को अमान्य बना दिया है। टीम ने जुलाई 2024 से सितंबर 2026 के बीच जारी 20 विभिन्न मॉडलों के खिलाफ 50 व्यापक रूप से उद्धृत दावों का परीक्षण किया और पाया कि इनमें से 44 प्रतिशत निष्कर्ष पहले ही समाप्त हो चुके हैं। औसतन, एक निष्कर्ष की आयुमर्मा केवल 15.7 महीने थी, और समय के साथ समाप्ति दरें काफी बढ़ गईं। मॉडल की सीमाओं से संबंधित दावे, विशेष रूप से गिनती या अंकगणित जैसे तर्क कार्य में, सबसे तेजी से समाप्त होते हैं क्योंकि डेवलपर आसानी से विशिष्ट सही परिणामों को लक्षित कर सकते हैं। इसके विपरीत, सycophancy (अनुकूलता) और राजनीतिक पूर्वाग्रह जैसे व्यवहारिक प्रवृत्तियां अधिक टिकाऊ होती हैं, जिनमें से कुछ तो समय के साथ और भी मजबूत हो जाती हैं। शीर्ष-स्तरीय मॉडलों में वैज्ञानिक उद्धरणों के लिए भ्रम (hallucination) की दरों में नाटकीय रूप से कमी आई है, लेकिन समान रिलीज़ विंडो के भीतर विभिन्न सिस्टम के बीच महत्वपूर्ण भिन्नता बनी हुई है। शोधकर्ता निष्कर्ष निकालते हैं कि प्रायोगिक परिणामों को सार्वभौमिक सत्य के बजाय विशिष्ट मॉडलों के स्नैपशॉट के रूप में देखा जाना चाहिए, और बेहतर दस्तावेजीकरण अभ्यासों का आह्वान करते हैं।
decoder