Accélérer les modèles vision-langage avec LFM2.5-VL-DSpark
huggingface ·
LiquidAI a publié un modèle de brouillon expérimental DSpark conçu pour accélérer l'inférence de son modèle vision-langue LFM2.5-VL-3B grâce au décodage spéculatif. Ce nouveau générateur ajoute environ 280 millions de paramètres, soit une augmentation de seulement 8,9 % de l'empreinte mémoire, tout en offrant des gains de vitesse significatifs allant jusqu'à 3,13x sur appareil et 2,66x sur les GPU H100. L'architecture utilise une conception simplifiée basée uniquement sur l'attention avec quatre couches, entraînée sur un mélange de données vision-langue pour capturer les états cachés afin de générer des tokens candidats. Un support d'intégration dès le premier jour est fourni pour les moteurs d'inférence populaires tels que llama.cpp, MLX-VLM et SGLang. Malgré ces améliorations, les auteurs notent que le décodage spéculatif accélère principalement la phase de décodage, ce qui signifie que les gains globaux sont limités par l'étape de préremplissage intensive en calcul nécessaire à l'encodage des images. Les benchmarks réalisés sur diverses tâches telles que la VQA et la légende d'images démontrent des améliorations de performances cohérentes sur les puces Apple Silicon et le matériel NVIDIA. Les modèles sont disponibles aux formats Safetensors et GGUF, soutenant l'objectif de LiquidAI en matière de déploiement d'IA à poids ouverts sur divers appareils.
huggingface