MPS in PyTorch 2.15
huggingface ·
PyTorch 2.15 führt erhebliche Leistungs- und Speicheroptimierungen für Nutzer von Apple Silicon ein, indem Operationen hauptsächlich von MPSGraph auf dedizierte Metal-Kernel migriert werden. Ein Hauptmerkmal ist die Einführung der FP8-Unterstützung, die es ermöglicht, den Speicherverbrauch von float8_e4m3fn-Tensoren im Vergleich zu BF16 zu halbieren, während die Kompatibilität mit CUDA/CPU-Operationen erhalten bleibt. Das Decodieren von Sprachmodellen verzeichnet erhebliche Geschwindigkeitssteigerungen; Mixture-of-Experts-Modelle erzielen auf M3 Ultra-Hardware bis zu 6,5x schnellere Token-Generierung dank nativer gruppiert Matrixmultiplikation. Die Speichereffizienz wird ebenfalls erheblich verbessert, wobei die Spitzenauslastung des Videos VAE-Decoding durch optimierte Pfade von 270 GiB auf lediglich 8 GiB reduziert wird. Die Veröffentlichung erweitert die linearen Algebra-Funktionen um neue Berechnungen mit komplexen Werten und schnellere Inversionen kleiner Matrizen. Darüber hinaus erfordert PyTorch 2.15 macOS 15 oder höher sowie Python 3.11 oder höher, was eine Verschiebung der Systemanforderungen markiert. Ausblickend verspricht Version 2.16, Aufmerksamkeitsmechanismen vollständig nach Metal zu verlagern und die Installationsgrößen weiter zu reduzieren.
huggingface