Transformers agora executa quantizações do llama.cpp
huggingface ·
O Hugging Face Transformers adicionou suporte nativo para execução de modelos GGUF, permitindo que os usuários utilizem checkpoints quantizados otimizados para inferência local. Essa integração viabiliza uma execução eficiente em Apple Silicon ao reutilizar os kernels Metal do ggml diretamente no ecossistema PyTorch, reduzindo significativamente a sobrecarga. A atualização foca inicialmente nas arquiteturas Qwen3.5, oferecendo diversos níveis de quantização, como Q4_K_M, para equilibrar uso de memória e precisão. Os usuários podem carregar esses modelos por meio de APIs padrão ou servi-los via uma interface compatível com OpenAI para uso com ferramentas como Jan ou LM Studio. Os benchmarks indicam que o desempenho é próximo ao do llama.cpp, embora o transformers inclua o tempo de prefill em suas medições. Além do GGUF, essa estratégia de reutilização de kernels abre caminhos para acelerar outros tipos de modelos, incluindo multimodais e arquiteturas de pesquisa. As limitações atuais incluem o foco em inferência empacotada apenas para MPS e cobertura limitada de arquiteturas, com planos de expandir o suporte gradualmente.
huggingface