OpenAI широко выпускает своего конкурента Jev по мере обострения конкуренции среди моделей принятия решений
techcrunch ·
OpenAI официально выпустила свой Decisions API для широкой публики, войдя в быстро растущий рынок моделей для принятия решений, отличающихся высокой скоростью и низкой стоимостью. Этот шаг последовал за успехом модели Jev от TypeSafe, которая продемонстрировала, что специализированные модели «System One» могут заменять традиционные большие языковые модели в определенных рабочих процессах с значительно меньшей задержкой и затратами. OpenAI адаптировала свою модель ChatGPT Luna для создания нового предложения, достигнув скорости вывода от 100 до 180 миллисекунд по сравнению с предыдущим диапазоном от одной до трех секунд. Ранние пользователи, такие как Box, Datadog, Ramp и Speak, сообщили о существенном улучшении пропускной способности и времени отклика; так, Speak сократила интервалы действий с 1,4 секунды до всего 0,13 секунды. Хотя бенчмарки показывают смешанные результаты по сравнению с конкурентами, такими как D1 Ultra от Liquid и Elephant-1 от Base Lab, OpenAI выделяет многомодальные возможности своего решения на базе Luna как ключевое преимущество. Компания также исследует возможность достижения еще более высоких скоростей, потенциально стремясь к 60 миллисекундам для обеспечения приложений реального времени, таких как анализ видео по кадрам. По мере того как эти модели становятся дешевле и более распространенными, они открывают новые варианты использования, которые ранее были непрактичными из-за ограничений скорости или стоимости.
techcrunch