हगिंग फेस ❤️ TorchTPU: टीपीयू, नेटिवली
huggingface ·
Hugging Face ने TorchTPU का परिचय दिया है, जो एक नैटिव PyTorch बैकएंड है जो डेवलपर्स को JAX या जटिल वर्कअराउंड की आवश्यकता के बिना सीधे Google के Tensor Processing Units (TPUs) पर मॉडल चलाने की अनुमति देता है। इस अपडेट ने TPUs को बस एक अन्य डिवाइस के रूप में मानकर कार्यप्रवाह को सरल बनाया है, जिससे Transformers और Diffusers जैसे लोकप्रिय लाइब्रेरीज के साथ सहज एकीकरण संभव हुआ है। उपयोगकर्ता अब 'device_map="tpu"' तर्क का उपयोग करके Hugging Face Hub से मॉडल लोड कर सकते हैं, जो इनफरेंस और ट्रेनिंग के लिए इगार और कंपाइल्ड दोनों मोडों का समर्थन करता है। इस इकोसिस्टम में Kernels Hub के माध्यम से ऑप्टिमाइज़्ड पलास kernels भी शामिल हैं, जो MoE डिकोडिंग जैसे विशिष्ट संचालनों के लिए प्रदर्शन में महत्वपूर्ण सुधार करते हैं। परीक्षण प्रयासों से पता चला है कि Transformers टेस्ट सूइट का 96.5% हिस्सा TPU पर पास हो रहा है, और GitHub issues के माध्यम से लगातार सुधारों की रिपोर्ट की जा रही है। यह विकास पिछले सॉफ़्टवेयर बाधाओं को हटाकर उच्च-प्रदर्शन वाले AI एक्सेलरेशन को व्यापक PyTorch समुदाय के लिए उपलब्ध कराता है।
huggingface