Transformers 现在支持运行 llama.cpp 量化模型
huggingface ·
Hugging Face Transformers 现已原生支持运行 GGUF 模型，使用户能够利用针对本地推理优化的量化检查点。该集成通过在 PyTorch 生态系统中直接复用 ggml Metal 内核，实现了在 Apple Silicon 上的高效执行，显著降低了开销。此次更新最初聚焦于 Qwen3.5 架构，提供包括 Q4_K_M 在内的多种量化级别，以平衡内存占用与精度。用户可以使用标准 API 加载这些模型，或通过兼容 OpenAI 的接口提供服务，以便与 Jan 或 LM Studio 等工具配合使用。基准测试表明，其性能接近 llama.cpp，尽管 transformers 的测量结果包含了预填充时间。除了 GGUF 之外，这种内核复用策略还为加速其他类型的模型（包括多模态和研究架构）开辟了路径。目前的局限性在于仅专注于 MPS 打包推理，且支持的架构范围有限，未来计划逐步扩大支持范围。
huggingface