TorchNeuron:在AWS Trainium上运行HF模型比以往更加轻松 | AI Archive

Hugging Face 推出了 TorchNeuron,这是专为 AWS Trainium 硬件设计的原生 PyTorch 后端,旨在简化在该硬件上运行模型的流程。与之前依赖惰性执行和静态形状的 Optimum Neuron 方法不同,TorchNeuron 在 PyTorch 内部直接支持急切模式(eager mode)、torch.compile 以及 FSDP 和 TP 等分布式 API。这一集成使得 Hugging Face

AI Archive ·

Terminal content

Latest news

News articles

Repository of the day

php/php-src · ⭐ 41,023

The PHP Interpreter

Source: GitHub Trending