Ускорение моделей зрения и языка с помощью LFM2.5-VL-DSpark
huggingface ·
Компания LiquidAI выпустила экспериментальную модель-черновик DSpark, предназначенную для ускорения вывода их модели LFM2.5-VL-3B с помощью спекулятивного декодирования. Эта новая черновая модель добавляет около 280 миллионов параметров, что представляет собой лишь увеличение объема памяти на 8,9%, при этом обеспечивая значительное ускорение до 3,13x на устройстве и 2,66x на GPU H100. Архитектура использует упрощенный дизайн только с механизмом внимания (attention-only) из четырех слоев и обучалась на смеси данных для зрительно-языковых задач, чтобы захватывать скрытые состояния для генерации кандидатов токенов. Поддержка интеграции «день первый» предоставлена для популярных движков вывода, включая llama.cpp, MLX-VLM и SGLang. Несмотря на эти достижения, авторы отмечают, что спекулятивное декодирование в основном ускоряет фазу декодирования, поэтому общее улучшение производительности ограничивается вычислительно сложной стадией префиллинга, необходимой для кодирования изображений. Тесты на различных задачах, таких как VQA и описание изображений, демонстрируют последовательные улучшения производительности как на оборудовании Apple Silicon, так и на NVIDIA. Модели доступны в форматах Safetensors и GGUF, поддерживая цель LiquidAI по открытому развертыванию моделей искусственного интеллекта на различных устройствах.
huggingface