Beschleunigung von Vision-Language-Modellen mit LFM2.5-VL-DSpark
huggingface ·
LiquidAI hat ein experimentelles DSpark-Drafting-Modell veröffentlicht, das darauf ausgelegt ist, die Inferenz ihres LFM2.5-VL-3B-Vision-Language-Modells durch spekulatives Decodieren zu beschleunigen. Dieser neue Drafter fügt etwa 280 Millionen Parameter hinzu, was einer Zunahme des Speicherbedarfs von nur 8,9 % entspricht, und erzielt gleichzeitig erhebliche Geschwindigkeitssteigerungen von bis zu 3,13x auf dem Gerät und 2,66x auf H100-GPUs. Die Architektur nutzt ein vereinfachtes Design mit reinem Attention-Mechanismus und vier Schichten, das auf einer Mischung aus Vision-Language-Daten trainiert wurde, um verborgene Zustände zum Entwurf von Kandidatentokens zu erfassen. Erste Integration wird für gängige Inferenz-Engines wie llama.cpp, MLX-VLM und SGLang unterstützt. Trotz dieser Verbesserungen weisen die Autoren darauf hin, dass das spekulative Decodieren primär die Decode-Phase beschleunigt, wodurch die End-to-End-Verbesserungen durch die rechenintensive Prefill-Phase begrenzt sind, die für die Bildkodierung erforderlich ist. Benchmarks über verschiedene Aufgaben hinweg, darunter VQA und Bildunterschriftenerstellung, zeigen konsistente Leistungsverbesserungen sowohl auf Apple-Silicon- als auch auf NVIDIA-Hardware. Die Modelle sind in den Formaten Safetensors und GGUF verfügbar und unterstützen LiquidAIs Ziel eines Open-Weight-AI-Einsatzes auf verschiedenen Geräten.
huggingface