随着决策模型竞争加剧,OpenAI 广泛推出其 Jev 竞争对手
techcrunch ·
OpenAI已正式向公众推出其Decisions API,进入了一个快速增长的、专注于快速且具成本效益的决策模型市场。此举紧随TypeSafe的Jev模型的成功之后,该模型证明了专门的“系统一”模型可以在特定工作流中替代传统的大型语言模型,从而实现显著更低的延迟和成本。OpenAI基于其ChatGPT Luna模型打造了这一新产品,推理速度达到100至180毫秒,而此前的范围为1至3秒。Box、Datadog、Ramp和Speak等早期采用者报告称,吞吐量与响应时间均得到大幅改善,其中Speak将操作间隔从1.4秒缩短至仅0.13秒。尽管在与Liquid的D1 Ultra和Base Lab的Elephant-1等竞争对手的基准测试中结果不一,但OpenAI强调其基于Luna的解决方案的多模态能力是关键优势。该公司还在探索更快的速度,目标可能达到60毫秒,以支持逐帧视频分析等实时应用。随着这些模型变得更加廉价和普及,它们正在解锁此前因速度或成本限制而不切实际的新用例。
techcrunch