Hugging Face ❤️ TorchTPU: TPUs, Nativamente
huggingface ·
A Hugging Face apresentou o TorchTPU, um backend nativo do PyTorch que permite aos desenvolvedores executar modelos diretamente nas Unidades de Processamento Tensor (TPUs) do Google, sem a necessidade de JAX ou soluções alternativas complexas. Esta atualização simplifica o fluxo de trabalho ao tratar as TPUs como mais um dispositivo, permitindo uma integração perfeita com bibliotecas populares, como Transformers e Diffusers. Os usuários agora podem carregar modelos do Hugging Face Hub usando o argumento simples 'device_map="tpu"', suportando tanto o modo eager quanto o compilado para inferência e treinamento. O ecossistema também inclui kernels Pallas otimizados por meio do Kernels Hub, que impulsionam significativamente o desempenho para operações específicas, como a decodificação MoE. Os testes mostram que 96,5% da suíte de testes do Transformers passa no TPU, com melhorias contínuas relatadas por meio de problemas no GitHub. Este desenvolvimento remove barreiras de software anteriores, tornando a aceleração de IA de alto desempenho acessível à comunidade mais ampla do PyTorch.
huggingface