TorchNeuron : exécuter les modèles HF sur AWS Trainium est plus simple que jamais
huggingface ·
Hugging Face a présenté TorchNeuron, un nouveau backend PyTorch natif pour AWS Trainium qui simplifie l'exécution de modèles sur ce matériel. Contrairement à l'approche précédente Optimum Neuron, qui reposait sur une exécution paresseuse et des formes statiques, TorchNeuron prend en charge le mode eager, torch.compile et les API distribuées telles que FSDP et TP directement au sein de PyTorch. Cette intégration permet aux bibliothèques Hugging Face, notamment Transformers, Diffusers, Accelerate, PEFT et TRL, de fonctionner sur Trainium en utilisant des interfaces standard sans nécessiter de code personnalisé ou d'entraîneurs dédiés. Pour l'inférence, la prise en charge de la génération de texte couvre dès maintenant 89 % des 100 architectures de modèles les plus utilisées, améliorant significativement les capacités précédentes. Les flux de travail d'entraînement sont désormais rationalisés, permettant aux utilisateurs d'affiner des modèles avec des scripts standards où la parallélisation est gérée nativement par la bibliothèque plutôt que par des configurations complexes. La bibliothèque Diffusers gagne également en compatibilité avec la parallélisation tensorielle pour les pipelines de génération d'images, incluant la prise en charge de modèles tels que FLUX et Qwen-Image. À partir du 20 octobre 2026, les développeurs pourront installer TorchNeuron via pip pour accéder à ces fonctionnalités en bêta publique.
huggingface