ग्रेनाइट स्विच 4.1: एक ही एंडपॉइंट से चैट, निर्णय और बोलना
huggingface ·
आईबीएम ने ग्रेनाइट स्विच 4.1 जारी किया है, जो एक मॉड्यूलर एआई मॉडल है जो चैट, निर्णय लेने और speech-to-text (बोलचाल से पाठ में) क्षमताओं को एक ही होस्टेड एंडपॉइंट पर जोड़ता है। नए 8B और 30B मॉडल्स कैश-कुशल सक्रिय लोरान्स (LoRAs) का उपयोग करते हैं, जिससे ट्रांसक्रिप्शन, सारांश बनाने और सुरक्षा स्क्रीनिंग जैसे कार्यों के बीच उच्च गति और दक्षता के साथ स्विच किया जा सकता है। इसमें मुख्य घटकों में एक सामान्य-उद्देश्य निर्णय एडाप्टर, सुरक्षा कार्यों के लिए विशेष गार्जियन एडाप्टर, और ग्रेनाइट-स्पीच-5.0-टर्बो-सीटीसी एएसआर मॉडल शामिल है, जो वर्तमान में ओपनएएसआर लीडरबोर्ड पर सबसे तेज़ है। बेस मॉडल के KV कैश को साझा करके, ये एडाप्टर महत्वपूर्ण अतिरिक्त वीराम (VRAM) ओवरहेड के बिना त्वरित कार्य स्विचिंग की अनुमति देते हैं। रिलीज़ में ग्रेनाइट लाइब्रेरीज की लचीलेपन पर भी प्रकाश डाला गया है, जो विभिन्न विशेष एडाप्टर्स को मिलाकर और चुनकर कस्टम मॉडल बनाने की सुविधा देती है। तुलनात्मक परीक्षणों में, ग्रेनाइट-स्विच-4.1-30B मॉडल ने वास्तविक दुनिया के RAG वर्कफ़्लोज़ में प्रतिस्पर्धियों को पीछे छोड़ दिया और जेव (Jev) की तुलना में डूम खेलने वाले परिदृश्य में श्रेष्ठ प्रदर्शन दिखाया। आईबीएम आने वाला एडाप्टर एसडीके के माध्यम से मेलिया फ्रेमवर्क के भीतर कस्टम एडाप्टर्स को प्रशिक्षित करने के लिए इस पारिस्थितिकी तंत्र का further समर्थन करने की योजना बना रहा है।
huggingface