TorchNeuron: Das Ausführen von HF-Modellen auf AWS Trainium ist einfacher denn je
huggingface ·
Hugging Face hat TorchNeuron eingeführt, ein neues natives PyTorch-Backend für AWS Trainium, das das Ausführen von Modellen auf dieser Hardware vereinfacht. Im Gegensatz zum bisherigen Optimum Neuron-Ansatz, der auf lazy execution und statischen Formen basierte, unterstützt TorchNeuron den Eager Mode, torch.compile sowie verteilte APIs wie FSDP und TP direkt innerhalb von PyTorch. Diese Integration ermöglicht es Hugging Face-Bibliotheken wie Transformers, Diffusers, Accelerate, PEFT und TRL, über standardisierte Schnittstellen ohne benutzerdefinierten Code oder dedizierte Trainer auf Trainium zu arbeiten. Für die Inferenz wird die Textgenerierung out-of-the-box für 89 % der 100 am häufigsten genutzten Modellarchitekturen unterstützt, was die früheren Möglichkeiten erheblich verbessert. Trainingsabläufe wurden nun optimiert, sodass Nutzer Modelle mit Standard-Skripten fine-tunen können, wobei die Parallelisierung nativ von der Bibliothek und nicht durch komplexe Konfigurationen übernommen wird. Die Diffusers-Bibliothek erhält zudem Kompatibilität mit Tensor Parallelism für Bildgenerierungs-Pipelines, einschließlich Unterstützung für Modelle wie FLUX und Qwen-Image. Ab dem 20. Oktober 2026 können Entwickler TorchNeuron über pip installieren, um auf diese öffentlichen Beta-Funktionen zuzugreifen.
huggingface