TorchNeuron:在AWS Trainium上运行HF模型比以往更加轻松
huggingface ·
Hugging Face 推出了 TorchNeuron,这是专为 AWS Trainium 硬件设计的原生 PyTorch 后端,旨在简化在该硬件上运行模型的流程。与之前依赖惰性执行和静态形状的 Optimum Neuron 方法不同,TorchNeuron 在 PyTorch 内部直接支持急切模式(eager mode)、torch.compile 以及 FSDP 和 TP 等分布式 API。这一集成使得 Hugging Face 的 Transformers、Diffusers、Accelerate、PEFT 和 TRL 等库能够使用标准接口在 Trainium 上运行,而无需自定义代码或专用训练器。在推理方面,开箱即用的文本生成功能覆盖了前 100 个最常用模型架构中的 89%,显著提升了以往的能力。训练工作流现已得到简化,用户可以使用标准脚本微调模型,并行处理由库原生负责,而非通过复杂的配置实现。Diffusers 库还获得了针对图像生成管道的张量并行兼容性,包括对 FLUX 和 Qwen-Image 等模型的支持。自 2026 年 10 月 20 日起,开发者可通过 pip 安装 TorchNeuron 以访问这些公开测试版功能。
huggingface