PyTorch 2.15 中的 MPS
huggingface ·
PyTorch 2.15 为 Apple Silicon 用户带来了显著的性能和内存优化，主要通过将操作从 MPSGraph 迁移到专用的 Metal 内核实现。一个重大亮点是引入了 FP8 支持，允许 float8_e4m3fn 张量在保持与 CUDA/CPU 操作兼容的同时，将内存使用量相比 BF16 减半。语言模型解码速度大幅提升，由于原生分组矩阵乘法的支持，Mixture-of-Experts 模型在 M3 Ultra 硬件上的令牌生成速度最高提升了 6.5 倍。内存效率也得到极大改善，通过优化的填充路径，视频 VAE 解码的峰值内存从 270 GiB 降至仅 8 GiB。此次发布还增强了线性代数能力，包括新的复数计算和更快的矩阵求逆运算。此外，PyTorch 2.15 要求 macOS 15 或更高版本以及 Python 3.11 或更高版本，标志着系统要求的转变。展望未来，2.16 版本承诺将注意力机制完全移至 Metal，并进一步减小安装体积。
huggingface