Запускайте быстрых и приватных агентов на устройстве с помощью LFM2.5-24B-A2B
huggingface ·
Компания LiquidAI выпустила модель LFM2.5-24B-A2B — 24-миллиардную модель рассуждений, предназначенную для быстрого и приватного выполнения задач агентов непосредственно на устройстве. Несмотря на большой размер, модель использует архитектуру Mixture of Experts (смесь экспертов), которая активирует только 2 миллиарда параметров на токен, что значительно снижает затраты на вывод данных. Обновление включает расширенное контекстное окно объемом 131 000 токенов и увеличенный вдвое словарь для улучшения обработки языков, использующих не латиницу. Обучение включало масштабирование предобучающих данных до примерно 33 триллионов токенов и многоэтапное постобучение, ориентированное на агентские задачи. Тесты показывают, что модель превосходит более крупные аналоги, такие как Qwen3.6-35B-A3B, в использовании инструментов и следовании инструкциям, особенно набирая 48,09 баллов в LiveClaw. Скорость вывода данных очень высокая: 184 токена в секунду на аппаратном обеспечении Apple M5 Max и более 21 000 токенов в секунду на графических процессорах NVIDIA B300. Модель имеет открытый вес и совместима с основными экосистемами вывода, включая llama.cpp, MLX и vLLM. Пользователи могут интегрировать её в локальные агентные платформы, такие как Hermes Agent или OpenClaw, для надежного развертывания на периферийных устройствах.
huggingface