Deepseek открыл исходный код движка вывода, питающего его самую быструю и дешёвую ИИ-модель
decoder ·
Компания Deepseek открыла исходный код своей внутренней системы инференса DeepInfer, которая обеспечивает работу самой быстрой и дешёвой модели V4.1-Flash, под лицензией Apache 2.0. Это программное обеспечение для обслуживания позволяет ИИ быстро генерировать ответы в больших масштабах за счёт оптимизированных вычислительных ядер и распределённой обработки на базе vLLM. В релиз также включён пакет deepseek-recipe, который реплицирует обработку токенов, чтобы обеспечить идентичность поведения локальных развертываний официальному API. Предоставляя эти инструменты бесплатно, Deepseek стремится помочь сообществу снизить затраты на вычисления и уменьшить энергопотребление. Этот шаг значительно сокращает расходы на запуск уже доступных по цене моделей, заполняя пробел в области экономической эффективности. В результате данное развитие событий оказывает ценовое давление на западных конкурентов, таких как OpenAI и Anthropic. Учитывая текущее технологическое соперничество между Китаем и США, выпуск может также иметь политические мотивы, направленные на влияние на экономические целевые показатели Запада.
decoder