Amazon SageMaker AI पर मिक्सचर-ऑफ़-एक्सपर्ट्स केर्नल इंजीनियरिंग
aws ·
यह लेख Amazon SageMaker AI पर मिक्स्चर-ऑफ-एक्सपर्ट्स (MoE) मॉडल्स के लिए कर्नेल इंजीनियरिंग अनुकूलनों का विवरण देता है, जिसमें बड़े भाषा मॉडल इनफरेंस के लिए प्रदर्शन में सुधार पर विशेष ध्यान दिया गया है। लेखकों ने तीन मुख्य तकनीकों का वर्णन किया है: NVIDIA Hopper के WGMMA हार्डवेयर आवश्यकताओं के साथ मैट्रिक्स आयामों को संरेखित करने के लिए Swap-AB ट्रांसपोज़िशन, FP8 क्वांटीज़ेशन के लिए CUTLASS के बजाय Triton का उपयोग करने के लिए बैकएंड रूटिंग समायोजन, और लैटेन्सी कम करने के लिए अनावश्यक Triton JIT पुनः कंपाइलेशन को समाप्त करना। ये अनुकूलन MoE आर्किटेक्चर में विशिष्ट बाधाओं, जैसे कि डिकोडिंग के दौरान पतले बैच साइज और परिवर्तनशील टोकन गणना को संबोधित करते हैं। इन बदलावों को लागू करने से H200 GPU पर थ्रूपुट में 10% तक की वृद्धि और टाइम टू फर्स्ट टोकन (TTFT) में 9% सुधार प्राप्त हुआ। इनमें से कई सुधार vLLM ओपन-सोर्स समुदाय में अपस्ट्रीम किए गए हैं। यह कार्य दिखाता है कि स्पार्स एक्टिवेशन मॉडल्स में दक्षता को कैसे गहरा हार्डवेयर-विशिष्ट ट्यूनिंग महत्वपूर्ण रूप से बढ़ाया जा सकता है।
aws