Hugging Face ❤️ TorchTPU : Les TPUs, en natif
huggingface ·
Hugging Face a présenté TorchTPU, un backend PyTorch natif qui permet aux développeurs d'exécuter des modèles directement sur les Tensor Processing Units (TPU) de Google sans avoir besoin de JAX ou de contournements complexes. Cette mise à jour simplifie le flux de travail en traitant les TPU comme n'importe quel autre dispositif, permettant une intégration transparente avec des bibliothèques populaires telles que Transformers et Diffusers. Les utilisateurs peuvent désormais charger des modèles depuis le Hub Hugging Face à l'aide d'un simple argument 'device_map="tpu"', prenant en charge les modes eager et compilés pour l'inférence et l'entraînement. L'écosystème comprend également des noyaux Pallas optimisés via le Kernels Hub, qui améliorent considérablement les performances pour des opérations spécifiques comme le décodage MoE. Les tests montrent que 96,5 % de la suite de tests Transformers fonctionne sur TPU, avec des améliorations continues signalées via les problèmes GitHub. Ce développement supprime les barrières logicielles précédentes, rendant l'accélération IA haute performance accessible à la communauté plus large de PyTorch.
huggingface