Hugging Face ❤️ TorchTPU: TPUs, de forma nativa
huggingface ·
Hugging Face ha presentado TorchTPU, un backend nativo de PyTorch que permite a los desarrolladores ejecutar modelos directamente en las Unidades de Procesamiento Tensor (TPU) de Google sin necesidad de JAX ni soluciones alternativas complejas. Esta actualización simplifica el flujo de trabajo al tratar las TPU como otro dispositivo más, lo que facilita la integración con bibliotecas populares como Transformers y Diffusers. Los usuarios pueden ahora cargar modelos desde el Hugging Face Hub utilizando un simple argumento 'device_map="tpu"', admitiendo tanto el modo eager como el compilado para inferencia y entrenamiento. El ecosistema también incluye kernels optimizados de Pallas a través del Kernels Hub, que mejoran significativamente el rendimiento en operaciones específicas como la decodificación MoE. Las pruebas muestran que el 96,5 % de la suite de pruebas de Transformers se ejecuta correctamente en TPU, con mejoras continuas reportadas a través de incidencias en GitHub. Este avance elimina las barreras de software previas, haciendo que la aceleración de IA de alto rendimiento sea accesible para toda la comunidad de PyTorch.
huggingface