TorchNeuron: eseguire modelli HF su AWS Trainium è più semplice che mai
huggingface ·
Hugging Face ha presentato TorchNeuron, un nuovo backend nativo per PyTorch destinato ad AWS Trainium, che semplifica l'esecuzione di modelli su questo hardware. A differenza dell'approccio Optimum Neuron precedente, basato su esecuzione lazy e forme statiche, TorchNeuron supporta la modalità eager, torch.compile e le API distributive come FSDP e TP direttamente all'interno di PyTorch. Questa integrazione consente alle librerie Hugging Face, quali Transformers, Diffusers, Accelerate, PEFT e TRL, di funzionare su Trainium utilizzando interfacce standard, senza richiedere codice personalizzato o trainer dedicati. Per quanto riguarda l'inferenza, il supporto alla generazione di testo copre nativamente l'89% delle 100 architetture di modelli più utilizzate, migliorando significativamente le capacità precedenti. I flussi di lavoro di addestramento sono ora semplificati, consentendo agli utenti di effettuare il fine-tuning dei modelli con script standard, dove il parallelismo è gestito nativamente dalla libreria anziché attraverso configurazioni complesse. Anche la libreria Diffusers ottiene la compatibilità con il parallelismo tensoriale per i pipeline di generazione di immagini, incluso il supporto per modelli come FLUX e Qwen-Image. A partire dal 20 ottobre 2026, gli sviluppatori potranno installare TorchNeuron tramite pip per accedere a queste funzionalità in versione beta pubblica.
huggingface