TorchNeuron: AWS Trainium पर HF मॉडल चलाना अब पहले से कहीं आसान है
huggingface ·
Hugging Face ने AWS Trainium पर मॉडल चलाने को सरल बनाने के लिए TorchNeuron, एक नया प्राकृतिक PyTorch बैकएंड पेश किया है। पिछले Optimum Neuron दृष्टिकोण से भिन्न, जो लैजी एक्जीक्यूशन और स्टैटिक शेप्स पर निर्भर था, TorchNeuron PyTorch के भीतर सीधे ईगर मोड, torch.compile और FSDP व TP जैसे डिस्ट्रिब्यूटेड API का समर्थन करता है। इस इंटीग्रेशन की बदौलत Transformers, Diffusers, Accelerate, PEFT और TRL जैसे Hugging Face लाइब्रेरीज Trainium पर बिना किसी कस्टम कोड या विशेष ट्रेनर्स की आवश्यकता के मानक इंटरफ़ेस का उपयोग कर सकती हैं। इनफेरेंस के लिए, टेक्स्ट जनरेशन सपोर्ट आउट-ऑफ-द-बॉक्स 100 सबसे अधिक उपयोग किए जाने वाले मॉडल आर्किटेक्चर में से 89% को कवर करता है, जिससे पिछली क्षमताओं में काफी सुधार हुआ है। ट्रेनिंग वर्कफ़्लो अब सरल हो गए हैं, जिससे उपयोगकर्ता मानक स्क्रिप्ट्स के साथ मॉडल्स को फाइन-ट्यून कर सकते हैं, जहां पैरेललिज्म को जटिल कॉन्फ़िगरेशन के बजाय लाइब्रेरी द्वारा नेटिव रूप से संभाला जाता है। Diffusers लाइब्रेरी को इमेज जनरेशन पाइपलाइन्स के लिए टेंसर पैरेललिज्म के साथ FLUX और Qwen-Image जैसे मॉडल्स का समर्थन प्राप्त हुआ है। 20 अक्टूबर, 2026 से डेवलपर्स pip के माध्यम से TorchNeuron इंस्टॉल करके इन पब्लिक बीटा फीचर्स तक पहुंच सकते हैं।
huggingface