Acelerando modelos de visão e linguagem com LFM2.5-VL-DSpark
huggingface ·
A LiquidAI lançou um modelo de rascunho experimental chamado DSpark, projetado para acelerar a inferência do seu modelo de linguagem e visão LFM2.5-VL-3B por meio de decodificação especulativa. Este novo rascunho adiciona aproximadamente 280 milhões de parâmetros, representando apenas um aumento de 8,9% no uso de memória, enquanto oferece acelerações significativas de até 3,13x em dispositivos e 2,66x em GPUs H100. A arquitetura utiliza um design simplificado com atenção apenas (attention-only) e quatro camadas, treinado em uma mistura de dados de linguagem e visão para capturar estados ocultos destinados ao rascunho de tokens candidatos. Há suporte nativo para integração com motores de inferência populares, incluindo llama.cpp, MLX-VLM e SGLang. Apesar desses ganhos, os autores observam que a decodificação especulativa acelera principalmente a fase de decode, o que significa que as melhorias de ponta a ponta são limitadas pela etapa de prefill intensiva em computação, necessária para a codificação de imagens. Os benchmarks em tarefas diversas, como VQA e legendagem de imagens, demonstram melhorias consistentes de desempenho tanto em hardware Apple Silicon quanto NVIDIA. Os modelos estão disponíveis nos formatos Safetensors e GGUF, apoiando o objetivo da LiquidAI de implantar IA de pesos abertos em diversos dispositivos.
huggingface