Accelerare i modelli visione-linguaggio con LFM2.5-VL-DSpark
huggingface ·
LiquidAI ha rilasciato un modello draft sperimentale DSpark progettato per accelerare l'inferenza del suo modello vision-language LFM2.5-VL-3B tramite decoding speculativo. Questo nuovo drafter aggiunge circa 280 milioni di parametri, rappresentando solo un aumento dell'8,9% nell'impronta di memoria, mentre offre accelerazioni significative fino a 3,13x su dispositivo e 2,66x sulle GPU H100. L'architettura utilizza un design semplificato basato esclusivamente sull'attenzione con quattro strati, addestrato su un misto di dati vision-language per catturare gli stati nascosti necessari alla generazione di token candidati. È previsto supporto di integrazione immediato per motori di inferenza popolari come llama.cpp, MLX-VLM e SGLang. Nonostante questi miglioramenti, gli autori sottolineano che il decoding speculativo accelera principalmente la fase di decode, il che significa che i miglioramenti end-to-end sono limitati dalla fase prefill, intensiva dal punto di vista computazionale, necessaria per l'encoding delle immagini. I benchmark condotti su compiti diversificati come VQA (Visual Question Answering) e didascalia di immagini dimostrano miglioramenti prestazionali coerenti sia su hardware Apple Silicon che NVIDIA. I modelli sono disponibili nei formati Safetensors e GGUF, sostenendo l'obiettivo di LiquidAI di implementare AI open-weight su vari dispositivi.
huggingface