Как GPU NVIDIA ускоряют работу GPT-6 Astra Ultrafast от OpenAI
nvidia ·
OpenAI выпустила GPT-6 Astra Ultrafast — новый режим модели, доступный через API OpenAI и для пользователей ChatGPT Work и Codex с соответствующими правами. Эта версия работает на графических процессорах NVIDIA Blackwell и обеспечивает генерацию токенов в восемь раз быстрее по сравнению со стандартным режимом Astra. Ускорение достигается за счет непрерывных оптимизаций процесса вывода (inference), использующих возможности архитектуры NVIDIA Blackwell. Эти улучшения скорости призваны сократить циклы редактирования-тестирования-отладки у кодовых агентов и уменьшить задержки между вызовами инструментов в интерактивных приложениях. Филипп Тилле, руководитель направления вывода моделей в OpenAI, отметил, что инструменты NVIDIA позволили их моделям создавать высокопроизводительные ядра для оборудования NVIDIA. Удэй Руддарраджу, главный технологический директор по вычислительным мощностям в OpenAI, сообщил, что компания использовала свои внутренние модели для оптимизации программного обеспечения вывода на программируемой платформе NVIDIA. Это сотрудничество позволяет разработчикам перенастраивать инфраструктуру для задач обучения, вывода и обучения с подкреплением по мере изменения спроса. В настоящее время разработчики могут получить доступ к GPT-6 Astra Ultrafast через API, а дополнительные сведения содержатся в официальном руководстве.
nvidia