Deepseek veröffentlicht die Open-Source-Inferenz-Engine für sein schnellstes und günstigstes KI-Modell
decoder ·
Deepseek hat DeepInfer, sein internes Inferenz-Framework, das das V4.1-Flash-Modell antreibt, unter der Apache-Lizenz 2.0 als Open Source veröffentlicht. Diese Serving-Software ermöglicht es der KI, Antworten schnell und in großem Maßstab zu generieren, indem sie auf vLLM aufbaut und optimierte Compute-Kernels sowie verteilte Verarbeitung nutzt. Die Veröffentlichung umfasst auch deepseek-recipe, das die Tokenverarbeitung repliziert, um sicherzustellen, dass selbst gehostete Setups identisch mit der offiziellen API funktionieren. Durch die kostenlose Bereitstellung dieser Tools will Deepseek der Community helfen, die Rechenkosten zu senken und den Energieverbrauch zu reduzieren. Dieser Schritt reduziert die Kosten für den Betrieb ihrer ohnehin schon erschwinglichen Modelle erheblich und schließt eine Lücke bei der Kosteneffizienz. Folglich übt diese Entwicklung zusätzlichen Preisdruck auf westliche Konkurrenten wie OpenAI und Anthropic aus. Angesichts des anhaltenden technologischen Wettstreits zwischen China und den USA könnte die Veröffentlichung auch politische Motive haben, die darauf abzielen, die wirtschaftlichen Wachstumsziele des Westens zu beeinflussen.
decoder