Deepseek apre il codice sorgente del motore di inferenza che alimenta il suo modello AI più veloce ed economico
decoder ·
Deepseek ha reso open-source DeepInfer, il suo framework di inferenza interno che alimenta il modello V4.1-Flash, sotto la licenza Apache 2.0. Questo software di servizio consente all'IA di generare risposte rapidamente e su larga scala, basandosi su vLLM con kernel di calcolo ottimizzati e elaborazione distribuita. Il rilascio include anche deepseek-recipe, che replica l'elaborazione dei token per garantire che le configurazioni auto-gestite si comportino in modo identico all'API ufficiale. Mettendo a disposizione questi strumenti gratuitamente, Deepseek mira ad aiutare la comunità a ridurre i costi di calcolo e il consumo energetico. Questa mossa riduce significativamente la spesa necessaria per eseguire i suoi modelli già accessibili, colmando una lacuna nell'efficienza dei costi. Di conseguenza, questo sviluppo esercita una pressione sui prezzi sui concorrenti occidentali come OpenAI e Anthropic. Data la continua rivalità tecnologica tra Cina e Stati Uniti, il rilascio potrebbe anche avere motivazioni politiche volte a influenzare gli obiettivi di crescita economica occidentali.
decoder