डीपसीक ने अपने सबसे तेज़ और सस्ते एआई मॉडल को चलाने वाले इन्फरेंस इंजन का ओपन-सोर्स किया
decoder ·
Deepseek ने अपने V4.1-Flash मॉडल को संचालित करने वाले अपने आंतरिक इनफरेंस फ्रेमवर्क DeepInfer को Apache License 2.0 के तहत ओपन-सोर्स कर दिया है। यह सर्विंग सॉफ़्टवेयर vLLM पर निर्मित अनुकूलित कंप्यूट कर्नेल्स और वितरित प्रसंस्करण का उपयोग करके AI को तेज़ी से और बड़े पैमाने पर प्रतिक्रियाएँ उत्पन्न करने में सक्षम बनाता है। इस रिलीज़ में deepseek-recipe भी शामिल है, जो टोकन प्रसंस्करण की नक़ल करता है ताकि स्वयं होस्ट किए गए सेटअप आधिकारिक API के समान व्यवहार करें। इन उपकरणों को मुफ़्त प्रदान करके, Deepseek समुदाय की मदद करना चाहता है ताकि कंप्यूट लागत कम की जा सके और ऊर्जा की खपत घटाई जा सके। इस कदम से उनके पहले से ही किफ़ायती मॉडल चलाने की लागत में उल्लेखनीय रूप से कमी आई है, जिससे लागत दक्षता के क्षेत्र में एक अंतराल भर गया है। इसके परिणामस्वरूप, OpenAI और Anthropic जैसे पश्चिमी प्रतिस्पर्धियों पर कीमतों के संदर्भ में दबाव बढ़ा है। चीन और अमेरिका के बीच चल रहे तकनीकी प्रतिस्पर्धा को देखते हुए, इस रिलीज़ में पश्चिमी आर्थिक विकास लक्ष्यों को प्रभावित करने के राजनीतिक उद्देश्य भी हो सकते हैं।
decoder