OpenAI rend son concurrent de Jev largement disponible alors que la compétition des modèles de décision s'intensifie
techcrunch ·
OpenAI a officiellement lancé son API Decisions auprès du grand public, s'engageant ainsi dans un marché en pleine expansion dédié aux modèles de prise de décision rapides et économiques. Cette initiative fait écho au succès du modèle Jev de TypeSafe, qui a démontré que des modèles spécialisés de type « System One » pouvaient remplacer les grands modèles de langage traditionnels dans certains flux de travail, offrant une latence et des coûts nettement inférieurs. OpenAI a adapté son modèle ChatGPT Luna pour créer cette nouvelle offre, atteignant des vitesses d'inférence comprises entre 100 et 180 millisecondes, contre une plage précédente de une à trois secondes. Les premiers utilisateurs, tels que Box, Datadog, Ramp et Speak, ont signalé des améliorations substantielles en matière de débit et de temps de réponse ; Speak, par exemple, a réduit ses intervalles d'action de 1,4 seconde à seulement 0,13 seconde. Si les benchmarks montrent des résultats mitigés face à des concurrents comme le D1 Ultra de Liquid ou l'Elephant-1 de Base Lab, OpenAI met en avant la capacité multimodale de sa solution basée sur Luna comme avantage clé. L'entreprise explore également des vitesses encore plus élevées, visant potentiellement 60 millisecondes pour permettre des applications en temps réel telles que l'analyse vidéo image par image. À mesure que ces modèles deviennent moins chers et plus omniprésents, ils ouvrent la voie à de nouveaux cas d'utilisation qui étaient auparavant irréalisables en raison de contraintes de vitesse ou de coût.
techcrunch