OpenAI disponibiliza amplamente seu concorrente do Jev à medida que a competição por modelos de decisão aquece
techcrunch ·
A OpenAI lançou oficialmente sua API de Decisões para o público geral, entrando em um mercado em rápido crescimento de modelos de tomada de decisão rápidos e econômicos. Essa movimentação segue o sucesso do modelo Jev da TypeSafe, que demonstrou que modelos especializados de 'System One' podem substituir grandes modelos de linguagem tradicionais em fluxos de trabalho específicos, com latência e custos significativamente menores. A OpenAI adaptou seu modelo ChatGPT Luna para criar esta nova oferta, alcançando velocidades de inferência entre 100 e 180 milissegundos, em comparação ao intervalo anterior de um a três segundos. Adotantes iniciais como Box, Datadog, Ramp e Speak relataram melhorias substanciais na capacidade de processamento e nos tempos de resposta, com a Speak reduzindo os intervalos de ação de 1,4 segundo para apenas 0,13 segundo. Embora as avaliações mostrem resultados mistos contra concorrentes como o D1 Ultra da Liquid e o Elephant-1 da Base Lab, a OpenAI destaca as capacidades multimodais de sua solução baseada no Luna como uma vantagem chave. A empresa também está explorando velocidades ainda mais rápidas, potencialmente visando 60 milissegundos para habilitar aplicações em tempo real, como análise de vídeo por quadro. À medida que esses modelos se tornam mais baratos e onipresentes, estão desbloqueando novos casos de uso que antes eram impraticáveis devido a restrições de velocidade ou custo.
techcrunch