Como as GPUs NVIDIA aceleram o GPT-6 Astra Ultrafast da OpenAI
nvidia ·
A OpenAI lançou o GPT-6 Astra Ultrafast, um novo modo de modelo disponível por meio da API da OpenAI e para usuários elegíveis do ChatGPT Work e Codex. Esta versão roda em GPUs NVIDIA Blackwell e oferece até oito vezes mais velocidade na geração de tokens em comparação com o modo Astra padrão. A aceleração é alcançada por meio de otimizações contínuas de inferência que aproveitam as capacidades da arquitetura NVIDIA Blackwell. Essas melhorias de velocidade visam encurtar os ciclos de edição-teste-depuração dos agentes de codificação e reduzir a latência entre chamadas de ferramentas em aplicativos interativos. Philippe Tillet, líder de inferência na OpenAI, destacou como as ferramentas da NVIDIA permitiram que seus modelos criassem kernels de alto desempenho para hardware NVIDIA. Uday Ruddarraju, diretor de tecnologia de computação da OpenAI, observou que a empresa utilizou seus modelos internos para otimizar o software de inferência na plataforma programável da NVIDIA. Essa colaboração permite que os desenvolvedores reaproveitem a infraestrutura entre treinamento, inferência e aprendizado por reforço conforme a demanda muda. Os desenvolvedores podem acessar atualmente o GPT-6 Astra Ultrafast por meio da API, com mais detalhes disponíveis no guia oficial.
nvidia