Deepseek disponibiliza o código aberto do motor de inferência que alimenta seu modelo de IA mais rápido e barato
decoder ·
A Deepseek lançou o código aberto do DeepInfer, seu framework interno de inferência que alimenta o modelo V4.1-Flash, sob a Licença Apache 2.0. Este software de serviço permite que a IA gere respostas rapidamente e em escala, aproveitando o vLLM com kernels de computação otimizados e processamento distribuído. O lançamento também inclui o deepseek-recipe, que replica o processamento de tokens para garantir que configurações auto-hospedadas se comportem de forma idêntica à API oficial. Ao disponibilizar essas ferramentas gratuitamente, a Deepseek visa ajudar a comunidade a reduzir os custos de computação e o consumo de energia. Essa medida reduz significativamente as despesas operacionais de seus modelos já acessíveis, preenchendo uma lacuna na eficiência de custos. Como consequência, esse desenvolvimento exerce pressão sobre os preços de concorrentes ocidentais, como OpenAI e Anthropic. Dada a rivalidade tecnológica em curso entre China e EUA, o lançamento pode ainda ter motivações políticas destinadas a impactar as metas de crescimento econômico ocidentais.
decoder