Acelerando modelos de visión y lenguaje con LFM2.5-VL-DSpark
huggingface ·
LiquidAI ha lanzado un modelo experimental de borrador DSpark diseñado para acelerar la inferencia de su modelo de lenguaje y visión LFM2.5-VL-3B mediante descodificación especulativa. Este nuevo borrador añade aproximadamente 280 millones de parámetros, lo que representa solo un aumento del 8,9 % en la huella de memoria, mientras ofrece aceleraciones significativas de hasta 3,13x en dispositivo y 2,66x en GPUs H100. La arquitectura utiliza un diseño simplificado basado únicamente en atención con cuatro capas, entrenado con una mezcla de datos de lenguaje y visión para capturar estados ocultos destinados a redactar tokens candidatos. Se proporciona soporte de integración desde el primer día para motores de inferencia populares, incluidos llama.cpp, MLX-VLM y SGLang. A pesar de estas mejoras, los autores señalan que la descodificación especulativa acelera principalmente la fase de decodificación, por lo que las mejoras de extremo a extremo están limitadas por la etapa de prefijado intensiva en cómputo requerida para la codificación de imágenes. Las pruebas de referencia en diversas tareas, como VQA y descripción de imágenes, demuestran mejoras consistentes en el rendimiento tanto en hardware Apple Silicon como NVIDIA. Los modelos están disponibles en formatos Safetensors y GGUF, apoyando el objetivo de LiquidAI de desplegar IA de pesos abiertos en diversos dispositivos.
huggingface