Transformers ahora ejecuta cuantizaciones de llama.cpp
huggingface ·
Hugging Face Transformers ha añadido soporte nativo para ejecutar modelos GGUF, lo que permite a los usuarios aprovechar puntos de control cuantizados optimizados para la inferencia local. Esta integración posibilita una ejecución eficiente en Apple Silicon al reutilizar los núcleos Metal de ggml directamente dentro del ecosistema PyTorch, reduciendo significativamente la sobrecarga. La actualización se centra inicialmente en las arquitecturas Qwen3.5, ofreciendo varios niveles de cuantización como Q4_K_M para equilibrar el uso de memoria y la precisión. Los usuarios pueden cargar estos modelos mediante APIs estándar o servirlos a través de una interfaz compatible con OpenAI para su uso con herramientas como Jan o LM Studio. Los benchmarks indican que el rendimiento es cercano al de llama.cpp, aunque transformers incluye el tiempo de prellenado en sus mediciones. Más allá de GGUF, esta estrategia de reutilización de núcleos abre vías para acelerar otros tipos de modelos, incluidas arquitecturas multimodales y de investigación. Las limitaciones actuales incluyen un enfoque en la inferencia empaquetada solo para MPS y una cobertura limitada de arquitecturas, con planes de ampliar el soporte gradualmente.
huggingface