Amazon SageMaker AI पर llama.cpp के साथ निर्णय मॉडल तैनात करें
aws ·
यह AWS ब्लॉग पोस्ट Amazon SageMaker AI पर llama.cpp का उपयोग करके निर्णय मॉडलों को डिप्लॉय करने की विधि बताती है, जो CPU या GPU इंफ्रास्ट्रक्चर पर क्वांटाइज्ड मॉडलों को सर्व करने के लिए एक प्रबंधित मार्ग प्रदान करता है। इसमें दो डिप्लॉयमेंट पथों का उल्लेख है: OpenAI-संगत चैट पूर्णताओं का उपयोग करने वाला मानक टेक्स्ट-जनरेशन रास्ता और स्थिर विकल्पों पर प्रायिकताएँ लौटाने के लिए SemIf एडाप्टर का उपयोग करने वाला संरचित-निर्णय रास्ता। लेख स्पष्ट करता है कि जबकि मानक DLC उत्पन्न प्रतिक्रियाओं को सर्व करता है, SemIf एक्सटेंशन अंतिम-स्थिति लॉगिट्स तक पहुँचने के लिए एक बच्चे छवि बनाता है बिना उत्तर टोकन को डीकोड किए। Qwen3.5-4B मॉडलों की तुलनात्मक बेंचमार्क दर्शाते हैं कि GPU एंडपॉइंट CPU वाले एंडपॉइंट की तुलना में काफी तेज़ हैं, हालाँकि दोनों कॉन्फ़िगरेशन में सटीकता समान रहती है। लेखकों ने GGUF मॉडलों को पैकेज करने, CodeBuild के माध्यम से एंडपॉइंट डिप्लॉय करने और निर्णयों के लिए विशिष्ट JSON स्कीमा के साथ उन्हें इंकॉक करने के लिए चरण-दर-चरण निर्देश प्रदान किए हैं। वे कम थ्रूपुट वाले वर्कलोड के लिए CPU और तंग टेल-लेटेन्सी लक्ष्यों वाली इंटरैक्टिव एप्लिकेशन के लिए GPU का उपयोग करने की सलाह देते हैं। अंत में, पोस्ट ऑपरेशनल आत्मविश्वास के लिए केवल मॉडल आउटपुट पर निर्भर रहने के बजाय ऐप्लिकेशन-स्तरीय थ्रेशोल्ड और फॉलबैक बनाए रखने पर जोर देती है।
aws