TorchNeuron: executar modelos do HF na AWS Trainium é mais fácil do que nunca
huggingface ·
A Hugging Face apresentou o TorchNeuron, um novo backend nativo do PyTorch para a AWS Trainium que simplifica a execução de modelos nesse hardware. Diferente da abordagem anterior Optimum Neuron, que dependia de execução preguiçosa e formas estáticas, o TorchNeuron suporta modo eager, torch.compile e APIs distribuídas como FSDP e TP diretamente dentro do PyTorch. Essa integração permite que bibliotecas da Hugging Face, como Transformers, Diffusers, Accelerate, PEFT e TRL, operem na Trainium usando interfaces padrão, sem exigir código personalizado ou treinadores dedicados. Para inferência, o suporte à geração de texto abrange 89% das 100 arquiteturas de modelos mais usadas fora da caixa, melhorando significativamente as capacidades anteriores. Os fluxos de trabalho de treinamento agora são otimizados, permitindo que os usuários ajustem modelos com scripts padrão, onde o paralelismo é tratado nativamente pela biblioteca em vez de por configurações complexas. A biblioteca Diffusers também ganha compatibilidade com paralelismo de tensores para pipelines de geração de imagens, incluindo suporte para modelos como FLUX e Qwen-Image. A partir de 20 de outubro de 2026, os desenvolvedores poderão instalar o TorchNeuron via pip para acessar esses recursos em beta público.
huggingface