Exécutez des agents privés et rapides sur appareil avec LFM2.5-24B-A2B
huggingface ·
LiquidAI a publié LFM2.5-24B-A2B, un modèle de raisonnement de 24 milliards de paramètres conçu pour une exécution rapide et privée d'agents sur l'appareil. Malgré sa taille importante, le modèle utilise une architecture Mixture of Experts qui n'active que 2 milliards de paramètres par jeton, réduisant considérablement les coûts d'inférence. La mise à jour comprend une fenêtre de contexte élargie de 131 000 jetsons et un vocabulaire doublé pour améliorer la gestion des langues non latines. L'entraînement a impliqué l'augmentation des données de pré-entraînement à environ 33 billions de jetsons et l'intégration d'un post-entraînement multi-étapes axé sur les tâches agentic. Les benchmarks montrent que le modèle surpasse des concurrents plus grands comme Qwen3.6-35B-A3B dans l'utilisation d'outils et le respect des instructions, atteignant notamment un score de 48,09 sur LiveClaw. Les vitesses d'inférence sont très efficaces, atteignant 184 tokens par seconde sur du matériel Apple M5 Max et plus de 21 000 tokens par seconde sur les GPU NVIDIA B300. Le modèle est open-weight et compatible avec les principaux écosystèmes d'inférence, y compris llama.cpp, MLX et vLLM. Les utilisateurs peuvent l'intégrer dans des harnais d'agents locaux tels que Hermes Agent ou OpenClaw pour un déploiement fiable en périphérie.
huggingface