vLLM में डिसेग्रीगेटेड इनफरेंस के लिए TTFT और TPOT सुधारने के लिए पुश-आधारित KV ट्रांसफर
aws ·
AWS के शोधकर्ताओं ने vLLM में विभक्त LLM निष्पादन (disaggregated inference) की कार्यक्षमता को बढ़ाने के लिए एक पुश-आधारित कुंजी-मान (KV) स्थानांतरण तंत्र पेश किया है। यह नया दृष्टिकोण टाइम-टू-फर्स्ट-टोकन (TTFT) और टाइम-पर-आउटपुट-टोकन (TPOT) में सुधार करता है, जिसमें प्रीफिल कंप्यूटेशन को डिकोड-साइड ब्लॉक आवंटन के साथ ओवरलैप करके महत्वपूर्ण पथ से सेटअप चरणों को हटा दिया जाता है। पारंपरिक पुल-आधारित विधि के विपरीत, जो प्रीफिलिंग के बाद अनुक्रमिक समन्वय की आवश्यकता होती है, पुश मोड निर्माता (producer) के अभी भी गणना करते समय डिकोड इंस्टेंस को लक्ष्य ब्लॉकों को पूर्व-रजिस्टर करने की अनुमति देता है। Qwen3-32B मॉडल का उपयोग करते हुए Amazon EC2 P5en इंस्टेंस पर किए गए बेंचमार्क ने उच्च लोड के तहत TTFT में तीन गुना तक की कमी और TPOT में 30 प्रतिशत सुधार दिखाया। इस कार्यान्वयन में NIXL डिस्क्रिप्टर तैयारी और स्थानांतरण सबमिशन को संभालने के लिए एक समर्पित बैकग्राउंड थ्रेड का उपयोग किया जाता है, जिससे लेटेंसी-संवेदनशील मुख्य लूप अटकते नहीं हैं। हालाँकि, उच्च अनुरोध दरों पर पुश मोड बेहतर प्रतिक्रियाशीलता प्रदान करता है, लेकिन यह पुल मोड की तुलना में जल्दी डिकोड इंस्टेंस का चयन करता है, जिससे कुछ रूटिंग लचीलेता सीमित हो सकती है। उपयोगकर्ता प्रीफिल और डिकोड सर्वर दोनों को मानक कनेक्टर के बजाय NixlPushConnector का उपयोग करने के कॉन्फ़िगर करके इस सुविधा को सक्षम कर सकते हैं।
aws