vLLM में द्विदिशीय KV ट्रांसफर के साथ मल्टी-टर्न एजेंटिक वर्कलोड्स के लिए TTFT में सुधार
aws ·
AWS ने vLLM में बहु-चरणीय एजेंटिक कार्यभारों को अनुकूलित करने के लिए द्वि-दिशीय कुंजी-मान (KV) कैश स्थानांतरण तंत्र पेश किया है। यह सुविधा प्रीफिल-डीकोड विच्छेदित सेवा में अक्षमताओं को दूर करती है, जिससे डीकोड नोड्स पिछले गणना किए गए KV ब्लॉकों को प्रीफिल नोड्स को वापस भेज सकते हैं ताकि आगामी संवाद चरणों के लिए उनका पुन: उपयोग किया जा सके। इस संदर्भ का पुन: उपयोग करने से बढ़ते संवाद इतिहास की अनावश्यक पुनर्गणना से बचा जाता है, जिससे पहला टोकन प्राप्त होने का समय (TTFT) काफी कम हो जाता है। AWS Elastic Fabric Adapter का उपयोग करते हुए Amazon EC2 P5en इंस्टेंसों पर किए गए मानकीकरण परीक्षणों में लंबे प्रॉम्प्ट लंबाई के लिए Qwen3-32B में TTFT में 1.6x और zai-org/GLM-5-FP8 में 3.3x तक की कमी दिखाई दी। इस कार्यान्वयन में मेटाडेटा प्रबंधित करने के लिए एक KV-कैश-अवेयर राउटर और ब्लॉक रखरखाव व पुनर्गणना निर्णयों के लिए कॉन्फ़िगर करने योग्य सीमाओं पर निर्भरता है। मूल रूप से AWS Trainium पर सत्यापित, यह एक्सेलेरेटर-स्वतंत्र क्षमता अब NIXL KV कनेक्टर में सुधारों के माध्यम से GPU क्लस्टर पर समर्थित है। उपयोगकर्ता एजेंट इंटरैक्शन के स्केल होने पर उत्तरदायी प्रदर्शन बनाए रखने के लिए vLLM संस्करण 0.21.0 या बाद वाले में इस सुविधा को सक्षम कर सकते हैं।
aws