Deepseek open-source le moteur d'inférence qui alimente son modèle d'IA le plus rapide et le moins cher
decoder ·
Deepseek a open-sourcé DeepInfer, son framework d'inférence interne qui alimente le modèle V4.1-Flash, sous la licence Apache 2.0. Ce logiciel de service permet à l'IA de générer des réponses rapidement et à grande échelle en s'appuyant sur vLLM avec des noyaux de calcul optimisés et un traitement distribué. La publication inclut également deepseek-recipe, qui réplique le traitement des tokens pour garantir que les configurations auto-hébergées se comportent de manière identique à l'API officielle. En mettant ces outils gratuitement à disposition, Deepseek vise à aider la communauté à réduire les coûts de calcul et la consommation d'énergie. Cette initiative diminue considérablement le coût d'exécution de ses modèles déjà abordables, comblant ainsi un manque en matière d'efficacité économique. Par conséquent, ce développement exerce une pression tarifaire sur les concurrents occidentaux tels qu'OpenAI et Anthropic. Compte tenu de la rivalité technologique actuelle entre la Chine et les États-Unis, cette publication pourrait également obéir à des motivations politiques visant à impacter les objectifs de croissance économique occidentaux.
decoder