Hugging Face ❤️ TorchTPU: TPUs, nativamente
huggingface ·
Hugging Face ha lanciato TorchTPU, un backend nativo per PyTorch che consente agli sviluppatori di eseguire modelli direttamente sulle Tensor Processing Unit (TPU) di Google senza bisogno di JAX o di soluzioni alternative complesse. Questo aggiornamento semplifica il flusso di lavoro trattando le TPU come un dispositivo qualsiasi, consentendo un'integrazione fluida con librerie popolari come Transformers e Diffusers. Gli utenti possono ora caricare modelli da Hugging Face Hub utilizzando un semplice argomento 'device_map="tpu"', supportando sia la modalità eager che quella compilata per l'inferenza e l'addestramento. L'ecosistema include anche kernel Pallas ottimizzati tramite il Kernels Hub, che aumentano significativamente le prestazioni per operazioni specifiche come il decoding MoE. I test mostrano che il 96,5% della suite di test di Transformers passa su TPU, con miglioramenti in corso segnalati tramite issue su GitHub. Questo sviluppo elimina le precedenti barriere software, rendendo l'accelerazione AI ad alte prestazioni accessibile alla più ampia comunità PyTorch.
huggingface