Transformers unterstützt nun llama.cpp-Quantisierungen
huggingface ·
Hugging Face Transformers hat die native Unterstützung für das Ausführen von GGUF-Modellen hinzugefügt, wodurch Nutzer quantisierte Checkpoints nutzen können, die für lokale Inferenz optimiert sind. Diese Integration ermöglicht eine effiziente Ausführung auf Apple Silicon, indem ggml Metal-Kernels direkt innerhalb der PyTorch-Umgebung wiederverwendet werden, was den Overhead erheblich reduziert. Das Update konzentriert sich zunächst auf Qwen3.5-Architekturen und bietet verschiedene Quantisierungsstufen wie Q4_K_M, um Speicherbedarf und Präzision auszubalancieren. Nutzer können diese Modelle über Standard-APIs laden oder sie über eine OpenAI-kompatible Schnittstelle bereitstellen, um sie mit Tools wie Jan oder LM Studio zu nutzen. Benchmarks zeigen, dass die Leistung nahe an der von llama.cpp liegt, wobei Transformers jedoch auch die Prefill-Zeit in seine Messungen einbezieht. Neben GGUF eröffnet diese Strategie der Kernel-Wiederverwendung Wege zur Beschleunigung anderer Modelltypen, darunter multimodale und Forschungsarchitekturen. Aktuelle Einschränkungen umfassen einen Fokus auf MPS-only gepackte Inferenz sowie eine begrenzte Abdeckung der Architekturen; es ist geplant, die Unterstützung schrittweise auszuweiten.
huggingface