OpenAI macht seinen Jev-Wettbewerber weitgehend verfügbar, während der Wettbewerb um Entscheidungsmodelle sich verschärft
techcrunch ·
OpenAI hat seine Decisions-API offiziell der breiten Öffentlichkeit zugänglich gemacht und betritt damit einen schnell wachsenden Markt für schnelle und kostengünstige Entscheidungsmodelle. Dieser Schritt folgt auf den Erfolg des Jev-Modells von TypeSafe, das gezeigt hat, dass spezialisierte 'System-One'-Modelle traditionelle Large Language Models in bestimmten Workflows mit deutlich geringerer Latenz und Kosten ersetzen können. OpenAI hat sein ChatGPT-Luna-Modell angepasst, um dieses neue Angebot zu schaffen, und erzielt Inferenzgeschwindigkeiten zwischen 100 und 180 Millisekunden im Vergleich zum vorherigen Bereich von ein bis drei Sekunden. Erste Nutzer wie Box, Datadog, Ramp und Speak haben erhebliche Verbesserungen bei Durchsatz und Antwortzeiten gemeldet; so reduzierte Speak die Aktionsintervalle von 1,4 Sekunden auf lediglich 0,13 Sekunden. Während Benchmarks gemischte Ergebnisse gegenüber Wettbewerbern wie Liquid’s D1 Ultra und Base Lab’s Elephant-1 zeigen, hebt OpenAI die multimodalen Fähigkeiten seiner Luna-basierten Lösung als entscheidenden Vorteil hervor. Das Unternehmen erforscht zudem noch schnellere Geschwindigkeiten, möglicherweise mit dem Ziel von 60 Millisekunden, um Echtzeitanwendungen wie die Analyse von Videobildern pro Frame zu ermöglichen. Während diese Modelle günstiger und allgegenwärtiger werden, erschließen sie neue Anwendungsfälle, die zuvor aufgrund von Geschwindigkeits- oder Kosteneinschränkungen unpraktikabel waren.
techcrunch