OpenAI rende disponibile su larga scala il suo concorrente di Jev mentre si intensifica la competizione tra modelli decisionali
techcrunch ·
OpenAI ha rilasciato ufficialmente la sua API Decisions al grande pubblico, entrando in un mercato in rapida crescita per modelli di decisione veloci ed economici. Questa mossa segue il successo del modello Jev di TypeSafe, che ha dimostrato come i modelli specializzati 'System One' possano sostituire i tradizionali modelli linguistici di grandi dimensioni in flussi di lavoro specifici, con latenza e costi notevolmente ridotti. OpenAI ha adattato il suo modello ChatGPT Luna per creare questa nuova offerta, raggiungendo velocità di inferenza tra 100 e 180 millisecondi rispetto alla precedente fascia di uno-tre secondi. I primi utenti, come Box, Datadog, Ramp e Speak, hanno segnalato miglioramenti sostanziali nel throughput e nei tempi di risposta, con Speak che ha ridotto gli intervalli di azione da 1,4 secondi a soli 0,13 secondi. Sebbene i benchmark mostrino risultati contrastanti rispetto ai concorrenti come D1 Ultra di Liquid e Elephant-1 di Base Lab, OpenAI evidenzia le capacità multimodali della sua soluzione basata su Luna come un vantaggio chiave. L'azienda sta inoltre esplorando velocità ancora maggiori, puntando potenzialmente a 60 millisecondi per abilitare applicazioni in tempo reale come l'analisi video fotogramma per fotogramma. Man mano che questi modelli diventano più economici e diffusi, stanno sbloccando nuovi casi d'uso precedentemente impraticabili a causa di vincoli di velocità o costo.
techcrunch