Hugging Face ❤️ TorchTPU: TPUs, нативно
huggingface ·
Hugging Face представила TorchTPU — нативный бэкенд PyTorch, позволяющий разработчикам запускать модели непосредственно на тензорных процессорных блоках (TPU) Google без использования JAX или сложных обходных путей. Это обновление упрощает рабочий процесс, рассматривая TPU как обычное устройство, что обеспечивает бесшовную интеграцию с популярными библиотеками, такими как Transformers и Diffusers. Теперь пользователи могут загружать модели из Hugging Face Hub с помощью простого аргумента 'device_map="tpu"', поддерживая как режим eager, так и скомпилированный режим для вывода и обучения. Экосистема также включает оптимизированные ядра Pallas через Kernels Hub, которые значительно повышают производительность для конкретных операций, таких как декодирование MoE. Результаты тестирования показывают, что 96,5% тестового набора Transformers проходят на TPU, а улучшения продолжают сообщаться через проблемы в GitHub. Это развитие устраняет предыдущие программные барьеры, делая высокопроизводительное ускорение ИИ доступным для более широкого сообщества PyTorch.
huggingface