टोकनाइज़र्स v1: एन्कोड, डिकोड और स्केलिंग, मापा गया
huggingface ·
Hugging Face ने मशीन लर्निंग वर्कफ़्लो में स्केलिंग के दौरान प्रदर्शन की बाधाओं को दूर करने के उद्देश्य से tokenizers v1 का रिलीज़ कैंडिडेट जारी किया है। नई संस्करण Bitcannon लाइब्रेरी के माध्यम से रेगेक्स-आधारित विभाजन को SIMD-संचालित बिटस्ट्रीम ऑपरेशन से बदलकर v0.23 की तुलना में एन्कोडिंग गति को तीन से तीस गुना तेज़ करती है। प्रमुख अनुकूलनों में थ्रेड-लोकल वर्ड कैश शामिल है, जो बार-बार आने वाले प्री-टोकन को मेमोाइज़ करता है, और स्क्रैच बफर्स का उपयोग करके मेमोरी आवंटन को समाप्त करने के लिए मर्ज लूप को फिर से लिखा गया है। ये बदलाव यह सुनिश्चित करते हैं कि GPU CPU टोकनाइज़ेशन का इंतज़ार किए बि सक्रिय रहें, जिससे बड़े डेटासेट और समवर्ती अनुरोधों के लिए थ्रूपुट में महत्वपूर्ण सुधार होता है। इस अपडेट ने पिछले संस्करणों के साथ पूर्वी API और आउटपुट संगतता बनाए रखी है, जबकि BPE, WordPiece और Unigram जैसे कई टोकनाइज़र परिवारों का समर्थन भी किया है। Apple M4 Max हार्डवेयर पर किए गए बेंचमार्क ने आठ वर्कर थ्रेड्स पर रैखिक स्केलिंग दिखाया, जो नेटिव समानांतरता की प्रभावशीलता की पुष्टि करता है। भविष्य की योजनाओं में मॉडल परिवार समर्थन का विस्तार और अगली रिलीज़ में GPU-त्वरित एन्कोडिंग का अन्वेषण शामिल है।
huggingface