MPS в PyTorch 2.15
huggingface ·
PyTorch 2.15 представляет значительные оптимизации производительности и использования памяти для пользователей Apple Silicon, в первую очередь за счет миграции операций из MPSGraph на выделенные Metal-ядра. Важным нововведением является поддержка FP8, позволяющая тензорам float8_e4m3fn сокращать использование памяти вдвое по сравнению с BF16 при сохранении совместимости с операциями CUDA/CPU. Декодирование языковых моделей демонстрирует существенное ускорение: модели Mixture-of-Experts генерируют токены до 6,5 раз быстрее на оборудовании M3 Ultra благодаря нативному умножению групп матриц. Эффективность использования памяти также значительно улучшена, в частности, пиковое потребление памяти при декодировании видео VAE снижено с 270 ГБ всего до 8 ГБ за счет оптимизированных путей заполнения (padding). Релиз расширяет возможности линейной алгебры новыми вычислениями со комплексными числами и более быстрым обращением малых матриц. Кроме того, PyTorch 2.15 требует macOS 15 или новее и Python 3.11 или новее, что标志着 изменение системных требований. В перспективе версия 2.16 обещает полностью перевести механизмы внимания на Metal и дополнительно уменьшить размер установки.
huggingface