EFA और DeepEP के साथ Amazon EKS पर MoE रीइन्फोर्समेंट लर्निंग को स्केल करें, जिससे थ्रूपुट में 40% की वृद्धि
aws ·
यह लेख अमेज़न EKS पर मिक्स्चर-ऑफ़-एक्सपर्ट्स (MoE) रीइन्फोर्समेंट लर्निंग को स्केल करने के लिए एक अनुकूलित आर्किटेक्चर का विवरण देता है, जो विषम कंप्यूट समन्वय और उच्च-थ्रूपुट संचार की चुनौतियों से निपटता है। समाधान अमेज़न एलास्टिक कुबेरनेट्स सर्विस (Amazon EKS), एलास्टिक फैब्रिक एडेप्टर (EFA) और DeepEP को मिलाकर रोलआउट जनरेशन और पॉलिसी ट्रेनिंग के बीच संतुलन बनाता है। एक प्रमुख नवाचार EFA के ऊपर DeepEP का उपयोग करना है, जो विशेषज्ञ समानांतरता में संचार ओवरहेड को कम करने के लिए मान्य all-to-all कलेक्टिव्स की जगह विशेष किर्नेल्स का उपयोग करता है। 48 P5en इंस्टेंसों पर进行的 परीक्षण ने बेसलाइन कॉन्फ़िगरेशन की तुलना में एग्रीगेट RL रोलआउट थ्रूपुट में 40% की वृद्धि दिखाई। आर्किटेक्चर कठिन रूप से जुड़ी हुई पॉलिसी ट्रेनिंग वर्कलोड में बाधा डाले बिना लागत कम करने के लिए रोलआउट जनरेशन के लिए अमेज़न EC2 स्पॉट इंस्टेंस का भी लाभ उठाता है। स्वतंत्र स्केलिंग सुनिश्चित करने के लिए GPU-त्वरित कार्यों, CPU-आधारित वातावरणों और मेमोरी-अनुकूलित अनुभव बफर्स के लिए अलग-अलग नोड समूहों का उपयोग किया जाता है। यह दृष्टिकोण स्टैक भर में कुशल सह-डिजाइन की अनुमति देता है, जिसमें कंप्यूट, मेमोरी और बैंडविड्थ सीमाओं के बीच संतुलन बनता है। परिणामस्वरूप, सैकड़ों या हजारों एक्सेलेरेटरों वाले बड़े पैमाने पर वितरित RL वर्कलोड के लिए एक लचीली और लागत-प्रभावी मार्ग प्राप्त होता है।
aws