使用LFM2.5-VL-DSpark加速视觉语言模型
huggingface ·
LiquidAI发布了一款实验性DSpark草稿模型，旨在通过推测解码加速其LFM2.5-VL-3B视觉语言模型的推理。该新草稿模型增加了约2.8亿个参数，内存占用仅增加8.9%，同时在设备上实现高达3.13倍、在H100 GPU上实现2.66倍的显著速度提升。该架构采用简化的纯注意力设计，包含四层，并在视觉语言数据混合集上进行训练，以捕获用于起草候选令牌的隐藏状态。该模型已为llama.cpp、MLX-VLM和SGLang等主流推理引擎提供首日集成支持。尽管取得这些进展，作者指出推测解码主要加速了解码阶段，因此端到端的改进受限于图像编码所需的计算密集型预填充阶段的限制。在VQA和图像描述等多样化任务上的基准测试表明，该模型在Apple硅芯片和NVIDIA硬件上均实现了持续的性能提升。这些模型提供Safetensors和GGUF格式，支持LiquidAI在不同设备上部署开放权重AI的目标。
huggingface