OpenAI pone su amplia disposición su competidor de Jev mientras se calienta la competencia de modelos de decisión
techcrunch ·
OpenAI ha lanzado oficialmente su API de Decisiones al público general, ingresando a un mercado en rápido crecimiento para modelos de toma de decisiones rápidos y rentables. Este movimiento sigue al éxito del modelo Jev de TypeSafe, que demostró que los modelos especializados de 'Sistema Uno' podrían reemplazar a los grandes modelos de lenguaje tradicionales en flujos de trabajo específicos con una latencia y un costo significativamente menores. OpenAI adaptó su modelo ChatGPT Luna para crear esta nueva oferta, alcanzando velocidades de inferencia entre 100 y 180 milisegundos en comparación con el rango anterior de uno a tres segundos. Los primeros adoptantes como Box, Datadog, Ramp y Speak han reportado mejoras sustanciales en la capacidad de procesamiento y los tiempos de respuesta, con Speak reduciendo los intervalos de acción de 1,4 segundos a tan solo 0,13 segundos. Si bien las pruebas comparativas muestran resultados mixtos frente a competidores como D1 Ultra de Liquid y Elephant-1 de Base Lab, OpenAI destaca las capacidades multimodales de su solución basada en Luna como una ventaja clave. La empresa también está explorando velocidades aún más rápidas, apuntando potencialmente a 60 milisegundos para habilitar aplicaciones en tiempo real como el análisis de video por fotograma. A medida que estos modelos se vuelven más baratos y ubicuos, están desbloqueando nuevos casos de uso que anteriormente eran imprácticos debido a restricciones de velocidad o costo.
techcrunch