PyTorch 2.15 में MPS
huggingface ·
PyTorch 2.15 ने Apple Silicon उपयोगकर्ताओं के लिए महत्वपूर्ण प्रदर्शन और मेमोरी अनुकूलन पेश किए हैं, मुख्य रूप से MPSGraph से समर्पित Metal kernels की ओर संचालनों को स्थानांतरित करके। इसमें FP8 सपोर्ट का परिचय एक प्रमुख विशेषता है, जो float8_e4m3fn टेंसरों को BF16 की तुलना में आधी मेमोरी उपयोग करने की अनुमति देता है, जबकि CUDA/CPU संचालनों के साथ संगतता बनाए रखता है। भाषा मॉडल डिकोडिंग में उल्लेखनीय गति वृद्धि देखी गई है, जहाँ Mixture-of-Experts मॉडल्स M3 Ultra हार्डवेयर पर नेटिव ग्रुप्ड मैट्रिक्स मल्टीप्लिकेशन के कारण टोकन जनरेशन में 6.5 गुना तक तेजी दिखाते हैं। मेमोरी दक्षता भी काफी सुधरी है, विशेष रूप से ऑप्टिमाइज्ड पैडिंग पाथ्स के माध्यम से वीडियो VAE डिकोडिंग की पीक मेमोरी 270 GiB से घटकर केवल 8 GiB रह गई है। रिलीज़ में नए कॉम्प्लेक्स-वैल्यूड कंप्यूटेशन और तेज छोटे-मैट्रिक्स इन्वर्स के साथ लिनियर अल्जेब्रा क्षमताओं में सुधार किया गया है। इसके अलावा, PyTorch 2.15 को macOS 15 या बाद वाले संस्करण और Python 3.11 या बाद वाले संस्करण की आवश्यकता है, जो सिस्टम आवश्यकताओं में बदलाव को दर्शाता है। आगे, संस्करण 2.16 में एटेंशन मैकेनिज्म को पूरी तरह से Metal की ओर ले जाने और इंस्टॉलेशन साइज़ को और कम करने का वादा है।
huggingface