SLMs के शब्दकोश को विशेषज्ञ बनाने से वास्तविक अनुप्रयोगों में इनफरेंस लागत 77% कम हो सकती है
huggingface ·
Dharma-AI के शोधकर्ताओं ने VocabX विकसित किया है, एक विधि जो छोटे भाषा मॉडलों (SLMs) के शब्दकोश को विशेषज्ञ बनाकर निष्पादन लागत में उल्लेखनीय कमी लाती है। इस दृष्टिकोण में टोकन की आवृत्ति के बजाय प्रत्येक टोकन की लागत पर ध्यान केंद्रित किया गया है, जिससे दो मुख्य अक्षमताओं का समाधान किया जाता है: पुनरावृत्ति पाठ का विखंडन और उपयोग किए गए न होने वाले शब्दकोश प्रविष्टियों के स्कोरिंग में कंप्यूटेशनल बर्बादी। Qwen3-4B पर निर्मित एक उत्पादन एссе ग्रेडर में, इस विशेषीकरण ने आधार मॉडल या प्रशिक्षण डेटा में कोई बदलाव किए बिना मापी गई निष्पादन लागत को 77% तक कम कर दिया। सिस्टम इनपुट और आउटपुट टोकन के बीच अंतर करता है, यह मान्यता रखते हुए कि मेमोरी बैंडविड्थ सीमाओं के कारण प्रतिक्रियाएं उत्पन्न करना प्रॉम्प्ट पढ़ने की तुलना में काफी अधिक महंगा है। VocabX सब-वर्ड और बहु-वर्ड दोनों स्तरों पर काम करता है, JSON लिफाफे जैसे बार-बार आने वाली संरचनाओं के लिए मैक्रो टोकन बनाता है जबकि एक छोटा, क्षेत्र-विशिष्ट शब्दकोश आकार बनाए रखता है। इस रणनीति ने औसत प्रतिक्रिया लंबाई को 350 से घटाकर 101 टोकन कर दिया और ग्रेडिंग सटीकता स्कोर को 0.703 से बढ़ाकर 0.810 कर दिया। पांच सार्वजनिक डोमेन में तुलनात्मक परीक्षणों ने दिखाया कि VocabX टोकन संपीड़न और अनुमानित लागत बचत में मौजूदा तरीकों से बेहतर प्रदर्शन करता है। निष्कर्ष सुझाव देते हैं कि डोमेन-विशिष्ट अनुप्रयोगों के लिए वजन फाइन-ट्यूनिंग जितना ही प्रभावशाली हो सकता है, टोकनाइज़र परत को अनुकूलित करना भी उतना ही प्रभावी हो सकता है।
huggingface