Transformers prend désormais en charge les quants de llama.cpp
huggingface ·
Hugging Face Transformers a ajouté un support natif pour l'exécution de modèles GGUF, permettant aux utilisateurs d'exploiter des points de contrôle quantifiés optimisés pour l'inférence locale. Cette intégration permet une exécution efficace sur les puces Apple Silicon en réutilisant directement les noyaux Metal de ggml au sein de l'écosystème PyTorch, réduisant considérablement la surcharge. La mise à jour se concentre initialement sur les architectures Qwen3.5, offrant divers niveaux de quantification tels que Q4_K_M afin d'équilibrer l'utilisation de la mémoire et la précision. Les utilisateurs peuvent charger ces modèles à l'aide d'API standard ou les servir via une interface compatible OpenAI pour une utilisation avec des outils comme Jan ou LM Studio. Les benchmarks indiquent que les performances sont proches de celles de llama.cpp, bien que transformers inclue le temps de préremplissage (prefill) dans ses mesures. Au-delà de GGUF, cette stratégie de réutilisation des noyaux ouvre des voies pour accélérer d'autres types de modèles, y compris les architectures multimodales et de recherche. Les limitations actuelles comprennent une focalisation sur l'inférence groupée uniquement sur MPS et une couverture limitée des architectures, avec des plans pour étendre progressivement le support.
huggingface