एक भौतिक विज्ञानी की तरह एलएलएम को काटना: इजिंग अनुकूलन समस्या के रूप में ब्लॉक हटाना
huggingface ·
Multiverse Computing के शोधकर्ताओं ने बड़े भाषा मॉडलों (LLMs) को काटने के लिए एक नई विधि विकसित की है, जिसमें ब्लॉक हटाने को आइजिंग अनुकूलन समस्या के रूप में देखा जाता है। ट्रान्सफॉर्मर ब्लॉक्स का स्वतंत्र मूल्यांकन करने के बजाय, यह दृष्टिकोण चयन प्रक्रिया को एक प्रतिबंधित द्विआधारी अनुकूलन कार्य के रूप में मॉडल करता है जो ब्लॉक्स के बीच अन्योन्यक्रियाओं को ध्यान में रखता है। इन अन्योन्यक्रियाओं को स्पिन सिस्टम की ऊर्जा परिदृश्य से मैप करके, टीम उन कम-ऊर्जा विन्यासों को कुशलतापूर्वक पहचान सकती है जो उच्च-प्रदर्शन वाले काटे गए मॉडलों के अनुरूप होते हैं। इस तकनीक में खोज चरण के दौरान महंगे बेंचमार्किंग की आवश्यकता नहीं होती है; इसके बजाय, लाखों उम्मीदवार विन्यासों का मूल्यांकन करने के लिए एक बार किया गया हेसियन गणना पर निर्भर रहती है। इस विधि ने विशेष रूप से गहरे संपीड़न परिदृश्यों में महत्वपूर्ण प्रदर्शन लाभ दिखाए हैं, जैसे कि Llama-3.3-70B से आधे ब्लॉक हटाते समय आधार रेखाओं की तुलना में MMLU में 23 अंक की बढ़त प्राप्त करना। सबसे महत्वपूर्ण बात यह है कि सर्वोत्तम परिणाम अक्सर निरपेक्ष भूमि अवस्था (ground state) के बजाय उत्तेजित अवस्थाओं (excited states) से आते हैं, जिससे मॉडल चयन अधिक मजबूत हो जाता है। फ्रेमवर्क को मिश्रित एटेंशन और MoE लेयर वाले हाइब्रिड मॉडल सहित विषम संरचनाओं पर भी प्रभावी ढंग से सामान्यीकृत होने के रूप में दिखाया गया है। यह भौतिकी से प्रेरित रणनीति क्वांटीकरण और निम्न-रैंक संपीड़न जैसे अन्य संपीड़न तकनीकों के साथ सहजता से एकीकृत होती है।
huggingface