Execute agentes privados e rápidos no dispositivo com LFM2.5-24B-A2B
huggingface ·
A LiquidAI lançou o LFM2.5-24B-A2B, um modelo de raciocínio com 24 bilhões de parâmetros projetado para execução rápida e privada de agentes em dispositivos locais. Apesar do seu grande tamanho, o modelo utiliza uma arquitetura Mixture of Experts (MoE) que ativa apenas 2 bilhões de parâmetros por token, reduzindo significativamente os custos de inferência. A atualização apresenta uma janela de contexto ampliada para 131 mil tokens e um vocabulário dobrado para melhorar o tratamento de idiomas não latinos. O treinamento envolveu a expansão dos dados de pré-treinamento para aproximadamente 33 trilhões de tokens e a incorporação de pós-treinamento em múltiplas etapas focado em tarefas agênticas. Os benchmarks mostram que o modelo supera concorrentes maiores, como o Qwen3.6-35B-A3B, no uso de ferramentas e no seguimento de instruções, especialmente ao obter pontuação de 48,09 no LiveClaw. As velocidades de inferência são altamente eficientes, atingindo 184 tokens por segundo em hardware Apple M5 Max e mais de 21 mil tokens por segundo em GPUs NVIDIA B300. O modelo é open-weight e compatível com os principais ecossistemas de inferência, incluindo llama.cpp, MLX e vLLM. Os usuários podem integrá-lo a estruturas de agentes locais, como Hermes Agent ou OpenClaw, para implantação confiável na borda.
huggingface