क्या हम शोध विचार की नवीनता का निर्णय लेने के लिए एलएलएम पर भरोसा कर सकते हैं?
huggingface ·
एलएन इंस्टीट्यूट फॉर एआई ने वैज्ञानिक शोध के लिए नोवेल्टी जज (नवीनता निर्णायक) के रूप में कार्य करने वाले बड़े भाषा मॉडलों (LLMs) की विश्वसनीयता का आकलन करने के लिए 'Old Ideas, Novel Problems' नामक एक नई अध्ययन और बेंचमार्क जारी किया है। इस शोध से पता चलता है कि LLMs मौजूदा कार्यों से नवीन विचारों को लगातार अलग करने में संघर्ष करते हैं, जिसमें प्रॉम्प्ट में छोटे बदलाव भी निर्णयों में भारी उतार-चढ़ाव ला देते हैं। छह प्रमुख मॉडलों पर किए गए प्रयोगों में, AI द्वारा उत्पन्न विचारों का मूल्यांकन करते समय प्रॉम्प्ट की wording बदलने से सटीकता में 50 प्रतिशत अंक से अधिक की कमी आई। हालांकि मानव द्वारा लिखित पत्रिकाओं पर निर्णायकों की स्थिरता अधिक प्रतीत हुई, लेकिन स्वचालित विचार-उत्पादन प्रणालियों के आउटपुट का मूल्यांकन करते समय वे काफी भंगुर (brittle) साबित हुए। इसके अलावा, जटिल रिट्रीवल तंत्र या उच्च तर्क बजट जोड़ने से प्रदर्शन में सुधार नहीं हुआ, बल्कि अक्सर लागत बढ़ गई बिना सटीकता में वृद्धि के। विशेष रूप से बनाए गए मूल्यांकन पाइपलाइन, सरल प्रॉम्प्टेड बेलाइन से भी खराब प्रदर्शन कर रहे हैं, जो वर्तमान दृष्टिकोणों में असमर्थता को दर्शाते हैं। ये निष्कर्ष सुझाव देते हैं कि वैज्ञानिक नवीनता की स्वचालित सत्यापन एक हल होने वाली चुनौती बनी हुई है, जिसके लिए अधिक मजबूत और मानकीकृत मूल्यांकन विधियों की आवश्यकता है।
huggingface