Deepseek开源其最快最便宜AI模型的推理引擎
decoder ·
DeepSeek已在其V4.1-Flash模型所使用的内部推理框架DeepInfer上发布Apache License 2.0开源协议。该服务软件通过基于vLLM并优化计算内核与分布式处理,使AI能够快速、大规模地生成响应。此次发布还包含deepseek-recipe,用于复制令牌处理流程,确保自托管环境与官方API行为一致。通过免费提供这些工具,DeepSeek旨在帮助社区降低计算成本并减少能源消耗。此举显著降低了其原本就已具性价比的模型的运行费用,填补了成本效率方面的空白。因此,这一进展对OpenAI和Anthropic等西方竞争对手形成了定价压力。鉴于中美之间持续的技术竞争,此次发布也可能带有旨在影响西方经济增长目标的政治动机。
decoder