LFM2.5-VL-DSpark के साथ विज़न-लैंग्वेज मॉडल्स को तेज़ करना
huggingface ·
LiquidAI ने LFM2.5-VL-3B विज़न-लैंग्वेज मॉडल के इनफरेंस को स्पेकुलेटिव डिकोडिंग के माध्यम से तेज़ करने के लिए एक प्रयोगात्मक DSpark ड्राफ्ट मॉडल जारी किया है। इस नए ड्राफ्टर में लगभग 280 मिलियन पैरामीटर जोड़े गए हैं, जो मेमोरी फुटप्रिंट में केवल 8.9% की वृद्धि दर्शाते हैं, जबकि डिवाइस पर 3.13x तक और H100 GPU पर 2.66x तक महत्वपूर्ण गति सुधार प्रदान करते हैं। आर्किटेक्चर में चार लेयर्स वाला एक सरलीकृत एटेंशन-ओनली डिज़ाइन शामिल है, जिसका प्रशिक्षण उम्मीदवार टोकन्स के ड्राफ्टिंग के लिए हाइडन स्टेट्स को कैप्चर करने के लिए विज़न-लैंग्वेज डेटा के मिश्रण पर किया गया है। llama.cpp, MLX-VLM और SGLang सहित लोकप्रिय इनफरेंस इंजनों के लिए पहले दिन से इंटीग्रेशन सहायता उपलब्ध है। हालांकि, लेखकों ने नोट किया है कि स्पेकुलेटिव डिकोडिंग मुख्य रूप से डिकोड चरण को तेज़ करता है, जिसका अर्थ है कि छवि एन्कोडिंग के लिए आवश्यक कम्प्यूट-इंटेंसिव प्रीफिल चरण के कारण एंड-टू-एंड सुधार सीमित हैं। VQA और इमेज कैप्शनिंग जैसे विविध कार्यों पर किए गए बेंचमार्क्स ने Apple सिلىकॉन और NVIDIA हार्डवेयर दोनों पर निरंतर प्रदर्शन सुधार दिखाए हैं। मॉडल्स Safetensors और GGUF फॉर्मेट में उपलब्ध हैं, जो विभिन्न डिवाइसों पर LiquidAI के ओपन-वेट AI तैनाती के लक्ष्य का समर्थन करते हैं।
huggingface