LFM2.5-24B-A2B के साथ डिवाइस पर तेज़ और निजी एजेंट्स चलाएं
huggingface ·
LiquidAI ने LFM2.5-24B-A2B जारी किया है, जो तेज़ और निजी ऑन-डिवाइस एजेंट निष्पादन के लिए डिज़ाइन किए गए 24 अरब पैरामीटरों वाले तर्क मॉडल को दर्शाता है। अपने विशाल आकार के बावजूद, मॉडल में एक मिक्चर ऑफ एक्सपर्ट्स (Mixture of Experts) आर्किटेक्चर का उपयोग होता है जो प्रति टोकन केवल 2 अरब पैरामीटर सक्रिय करता है, जिससे इनफरेंस लागत में काफी कमी आती है। इस अपडेट में गैर-लैटिन भाषाओं की बेहतर हैंडलिंग के लिए 131K टोकन का विस्तारित कॉन्टेक्स्ट विंडो और दोगुना शब्दावली शामिल है। प्रशिक्षण में लगभग 33 ट्रिलियन टोकन तक प्री-ट्रेनिंग डेटा को स्केल करना और एजेंटिक कार्यों पर ध्यान केंद्रित करने वाली मल्टी-स्टेज पोस्ट-ट्रेनिंग शामिल थी। बेंचमार्क दिखाते हैं कि यह मॉडल Qwen3.6-35B-A3B जैसे बड़े प्रतिस्पर्धियों की तुलना में टूल यूज़ और निर्देश अनुसरण में बेहतर प्रदर्शन करता है, विशेष रूप से LiveClaw पर 48.09 स्कोर प्राप्त करता है। इनफरेंस गति अत्यधिक कुशल है, Apple M5 Max हार्डवेयर पर 184 टोकन प्रति सेकंड और NVIDIA B300 GPU पर 21,000 से अधिक टोकन प्रति सेकंड तक पहुंचती है। मॉडल ओपन-वेट है और llama.cpp, MLX, और vLLM सहित प्रमुख इनफरेंस इकोसिस्टम के साथ संगत है। उपयोगकर्ता इसे Hermes Agent या OpenClaw जैसे स्थानीय एजेंट हार्नेस में एकीकृत कर सकते हैं ताकि भरोसेमंद एज डिप्लॉयमेंट सुनिश्चित किया जा सके।
huggingface