TorchNeuron: ejecutar modelos de HF en AWS Trainium es más fácil que nunca
huggingface ·
Hugging Face ha presentado TorchNeuron, un nuevo backend nativo de PyTorch para AWS Trainium que simplifica la ejecución de modelos en este hardware. A diferencia del enfoque anterior Optimum Neuron, que dependía de una ejecución diferida y formas estáticas, TorchNeuron admite el modo eager, torch.compile y APIs distribuidas como FSDP y TP directamente dentro de PyTorch. Esta integración permite que bibliotecas de Hugging Face como Transformers, Diffusers, Accelerate, PEFT y TRL funcionen en Trainium utilizando interfaces estándar, sin necesidad de código personalizado ni entrenadores dedicados. Para la inferencia, el soporte de generación de texto cubre de serie el 89% de las 100 arquitecturas de modelos más utilizadas, mejorando significativamente las capacidades anteriores. Los flujos de trabajo de entrenamiento ahora están optimizados, permitiendo a los usuarios ajustar modelos con scripts estándar donde la paralelización es gestionada nativamente por la biblioteca en lugar de mediante configuraciones complejas. La biblioteca Diffusers también obtiene compatibilidad con paralelismo tensorial para pipelines de generación de imágenes, incluyendo soporte para modelos como FLUX y Qwen-Image. A partir del 20 de octubre de 2026, los desarrolladores podrán instalar TorchNeuron mediante pip para acceder a estas funciones en fase beta pública.
huggingface