Transformers ora esegue i quantizzati di llama.cpp
huggingface ·
Hugging Face Transformers ha aggiunto il supporto nativo per l'esecuzione di modelli GGUF, consentendo agli utenti di sfruttare checkpoint quantizzati ottimizzati per l'inferenza locale. Questa integrazione consente un'esecuzione efficiente su Apple Silicon riutilizzando i kernel Metal di ggml direttamente nell'ecosistema PyTorch, riducendo significativamente il sovraccarico. L'aggiornamento si concentra inizialmente sulle architetture Qwen3.5, offrendo vari livelli di quantizzazione come Q4_K_M per bilanciare l'utilizzo della memoria e la precisione. Gli utenti possono caricare questi modelli utilizzando API standard o servirli tramite un'interfaccia compatibile con OpenAI per l'uso con strumenti come Jan o LM Studio. I benchmark indicano che le prestazioni sono vicine a quelle di llama.cpp, sebbene transformers includa il tempo di prefill nelle sue misurazioni. Oltre a GGUF, questa strategia di riutilizzo dei kernel apre la strada all'accelerazione di altri tipi di modelli, inclusi quelli multimodali e di ricerca. Le limitazioni attuali includono un focus sull'inferenza impacchettata solo per MPS e una copertura limitata delle architetture, con piani per espandere gradualmente il supporto.
huggingface