Hugging Face ❤️ TorchTPU: TPUs, nativ
huggingface ·
Hugging Face hat TorchTPU eingeführt, ein nativen PyTorch-Backend, das Entwicklern ermöglicht, Modelle direkt auf den Tensor Processing Units (TPUs) von Google auszuführen, ohne JAX oder komplexe Workarounds zu benötigen. Dieses Update vereinfacht den Workflow, indem TPUs als weiteres Gerät behandelt werden, was eine nahtlose Integration in beliebte Bibliotheken wie Transformers und Diffusers ermöglicht. Nutzer können Modelle nun über das Hugging Face Hub mit dem einfachen Argument 'device_map="tpu"' laden, wobei sowohl der Eager-Modus als auch der kompilierte Modus für Inferenz und Training unterstützt werden. Das Ökosystem umfasst zudem optimierte Pallas-Kernel über den Kernels Hub, die die Leistung bei bestimmten Operationen wie MoE-Decoding erheblich steigern. Tests zeigen, dass 96,5 % des Transformers-Test-Suites auf TPU bestehen, wobei laufende Verbesserungen über GitHub-Issues gemeldet werden. Diese Entwicklung beseitigt frühere Software-Hürden und macht Hochleistungs-AI-Beschleunigung für die breitere PyTorch-Community zugänglich.
huggingface