使用 LFM2.5-24B-A2B 在设备上运行快速私有代理
huggingface ·
LiquidAI 发布了 LFM2.5-24B-A2B，这是一款拥有 240 亿参数的推理模型，专为快速且私密的端侧智能体执行而设计。尽管参数量庞大，该模型采用混合专家（MoE）架构，每个 token 仅激活 20 亿个参数，从而显著降低了推理成本。此次更新将上下文窗口扩展至 131K tokens，并将词表容量翻倍，以改善对非拉丁语系语言的处理能力。训练过程中，预训练数据规模扩大至约 33 万亿个 token，并引入了专注于智能体任务的多阶段后训练。基准测试显示，该模型在工具使用和指令遵循方面优于 Qwen3.6-35B-A3B 等更大的竞争对手，在 LiveClaw 上得分高达 48.09。其推理速度极具效率：在 Apple M5 Max 硬件上达到每秒 184 个 token，在 NVIDIA B300 GPU 上超过每秒 21,000 个 token。该模型为开放权重，兼容 llama.cpp、MLX 和 vLLM 等主要推理生态系统。用户可将其集成到 Hermes Agent 或 OpenClaw 等本地智能体框架中，以实现可靠的边缘部署。
huggingface