ट्रांसफॉर्मर्स अब लामा.सीपीपी क्वांट्स चलाता है
huggingface ·
Hugging Face Transformers ने स्थानीय निष्पादन के लिए अनुकूलित क्वांटाइज़्ड चेकपॉइंट्स का लाभ उठाने के लिए GGUF मॉडल चलाने के लिए नेटिव समर्थन जोड़ा है। यह एकीकरण PyTorch इकोसिस्टम के भीतर ggml Metal kernels को सीधे पुन: उपयोग करके Apple Silicon पर कुशल निष्पादन सक्षम बनाता है, जिससे ओवरहेड में काफी कमी आती है। यह अपडेट प्रारंभिक रूप से Qwen3.5 आर्किटेक्चर पर केंद्रित है, जो मेमोरी उपयोग और सटीकता के बीच संतुलन बनाने के लिए Q4_K_M जैसे विभिन्न क्वांटाइजेशन स्तरों की पेशकश करता है। उपयोगकर्ते इन मॉडल्स को मानक APIs का उपयोग करके लोड कर सकते हैं या Jan या LM Studio जैसे टूल्स के साथ उपयोग के लिए OpenAI-संगत इंटरफ़ेस के माध्यम से सर्व कर सकते हैं। बेंचमार्क्स संकेत करते हैं कि प्रदर्शन llama.cpp के समान है, हालांकि transformers अपने मापनों में प्रीफिल समय को शामिल करता है। GGUF के परे, यह kernel पुन: उपयोग रणनीति बहुआयामी और शोध आर्किटेक्चर सहित अन्य मॉडल प्रकारों को तेज़ करने के लिए मार्ग खोलती है। वर्तमान सीमाओं में MPS-मात्र पैक्ड निष्पादन पर ध्यान और सीमित आर्किटेक्चर कवरेज शामिल हैं, और समर्थन को धीरे-धीरे बढ़ाने की योजना है।
huggingface