NVIDIA GPU如何加速OpenAI的GPT-6 Astra Ultrafast
nvidia ·
OpenAI已发布GPT-6 Astra Ultrafast,这是一种新的模型模式,可通过OpenAI API以及面向符合条件的ChatGPT Work和Codex用户提供服务。该版本在NVIDIA Blackwell GPU上运行,与标准Astra模式相比,令牌生成速度最高提升八倍。这种加速是通过利用NVIDIA Blackwell架构能力的持续推理优化实现的。这些速度改进旨在缩短编码代理的编辑-测试-调试周期,并减少交互式应用中工具调用之间的延迟。OpenAI推理负责人Philippe Tillet指出,NVIDIA的工具套件使其模型能够为NVIDIA硬件创建高性能内核。OpenAI计算首席技术官Uday Ruddarraju表示,该公司使用其内部模型在NVIDIA的可编程平台上优化推理软件。这种合作使开发人员能够根据需求变化,跨训练、推理和强化学习重新利用基础设施。目前,开发人员可以通过API访问GPT-6 Astra Ultrafast,更多详细信息请参阅官方指南。
nvidia