TorchNeuron: запуск моделей HF на AWS Trainium стал проще, чем когда-либо
huggingface ·
Hugging Face представила TorchNeuron — новый нативный бэкенд PyTorch для AWS Trainium, упрощающий запуск моделей на этом оборудовании. В отличие от предыдущего подхода Optimum Neuron, который опирался на ленивое выполнение и статические формы данных, TorchNeuron поддерживает режим eager, torch.compile и распределенные API, такие как FSDP и TP, непосредственно в рамках PyTorch. Эта интеграция позволяет библиотекам Hugging Face, таким как Transformers, Diffusers, Accelerate, PEFT и TRL, работать с Trainium через стандартные интерфейсы без необходимости написания пользовательского кода или использования специализированных тренировщиков. Для задач инференса поддержка генерации текста из коробки охватывает 89% из 100 самых популярных архитектур моделей, что значительно улучшает предыдущие возможности. Рабочие процессы обучения теперь упрощены: пользователи могут дообучать модели со стандартными скриптами, где параллелизм обрабатывается самой библиотекой, а не через сложные конфигурации. Библиотека Diffusers также получила поддержку тензорного параллелизма для конвейеров генерации изображений, включая модели FLUX и Qwen-Image. Начиная с 20 октября 2026 года разработчики смогут установить TorchNeuron через pip для доступа к этим функциям публичной бета-версии.
huggingface