Esegui agenti privati e veloci sul dispositivo con LFM2.5-24B-A2B
huggingface ·
LiquidAI ha rilasciato LFM2.5-24B-A2B, un modello di ragionamento da 24 miliardi di parametri progettato per l'esecuzione rapida e privata di agenti direttamente sul dispositivo. Nonostante le sue dimensioni ridotte, il modello utilizza un'architettura Mixture of Experts che attiva solo 2 miliardi di parametri per token, riducendo significativamente i costi di inferenza. L'aggiornamento include una finestra di contesto ampliata a 131K token e un vocabolario raddoppiato per migliorare la gestione delle lingue non latine. L'addestramento ha previsto lo scaling dei dati di pre-addestramento a circa 33 trilioni di token e l'incorporazione di un post-addestramento multistadio focalizzato su compiti agentic. I benchmark mostrano che il modello supera concorrenti più grandi come Qwen3.6-35B-A3B nell'uso degli strumenti e nel seguire le istruzioni, ottenendo in particolare un punteggio di 48,09 su LiveClaw. Le velocità di inferenza sono altamente efficienti, raggiungendo 184 token al secondo su hardware Apple M5 Max e oltre 21K token al secondo su GPU NVIDIA B300. Il modello è open-weight e compatibile con i principali ecosistemi di inferenza, tra cui llama.cpp, MLX e vLLM. Gli utenti possono integrarlo in harness per agenti locali come Hermes Agent o OpenClaw per un'affidabile distribuzione edge.
huggingface