टॉर्चन्यूरॉन प्रोफाइलिंग (भाग 1): AWS ट्रेनिअम पर सिस्टम-लेवल प्रोफाइलिंग
huggingface ·
यह लेख AWS Trainium पर TorchNeuron के लिए सिस्टम-स्तरीय प्रोफाइलिंग का परिचय देता है, जिसका उद्देश्य ML पेशेवरों को इनफरेंस प्रदर्शन की बाधाओं का विश्लेषण करने में सहायता करना है। यह PyTorch के PrivateUse1 एक्सटेंशन का उपयोग करके डिवाइस और रनटाइम ट्रेस कैप्चर करने के लिए NeuronConfig और NeuronProfiler की सेटअप विस्तार से बताता है। गाइड दिखाती है कि फ्रेमवर्क डिस्पैच से लेकर हार्डवेयर एक्जीक्यूशन तक ऑपरेशन के जीवन चक्र को देखने के लिए Neuron Explorer का उपयोग कैसे करें। RMSNorm के तीन कार्यान्वयनों की तुलना की गई है: साधारण PyTorch ऑपरेशन, बिल्ट-इन torch.rms_norm, और torch.compile के साथ संकलित एक साधारण फ़ंक्शन। परिणाम दिखाते हैं कि torch.rms_norm के माध्यम से फ्यूजन और संकलन दोनों ही मध्यवर्ती टेन्सर मैटेरियलाइजेशन और ऑपरेशंस के बीच के अंतर को समाप्त करके Neuron डिवाइस समय को काफी कम करते हैं। फ्यूज़्ड दृष्टिकोण साधारण कार्यान्वयन की तुलना में लगभग छठा हिस्सा डिवाइस समय प्राप्त करते हैं। लेखक निष्कर्ष निकालते हैं कि key_averages टेबल्स में हॉटस्पॉट की पहचान करना और उन्हें ट्रेस में सत्यापित करना अनुकूलन के लिए एक प्रभावी कार्यप्रवाह है।
huggingface