Transformers теперь запускает квантования llama.cpp
huggingface ·
Библиотека Hugging Face Transformers добавила нативную поддержку запуска моделей в формате GGUF, что позволяет пользователям использовать квантованные чекпоинты, оптимизированные для локального вывода. Эта интеграция обеспечивает эффективное выполнение на чипах Apple Silicon за счёт прямого использования ядер Metal из ggml в рамках экосистемы PyTorch, что значительно снижает накладные расходы. Изначально обновление сосредоточено на архитектурах Qwen3.5 и предлагает различные уровни квантования (например, Q4_K_M) для балансировки между использованием памяти и точностью. Пользователи могут загружать эти модели с помощью стандартных API или развёртывать их через интерфейс, совместимый с OpenAI, для использования в таких инструментах, как Jan или LM Studio. Результаты тестирования показывают, что производительность близка к llama.cpp, хотя при этом Transformers включает время префилла в свои измерения. Помимо GGUF, стратегия повторного использования ядер открывает пути для ускорения других типов моделей, включая мультимодальные и исследовательские архитектуры. Текущие ограничения включают фокус только на упакованном выводе с использованием MPS и ограниченное покрытие архитектур; планируется постепенное расширение поддержки.
huggingface