Cómo las GPU de NVIDIA aceleran el GPT-6 Astra Ultrafast de OpenAI
nvidia ·
OpenAI ha lanzado GPT-6 Astra Ultrafast, un nuevo modo de modelo disponible a través de la API de OpenAI y para usuarios elegibles de ChatGPT Work y Codex. Esta versión se ejecuta en GPUs NVIDIA Blackwell y ofrece una generación de tokens hasta ocho veces más rápida en comparación con el modo Astra estándar. La aceleración se logra mediante optimizaciones continuas de inferencia que aprovechan las capacidades de la arquitectura NVIDIA Blackwell. Estas mejoras de velocidad están diseñadas para acortar los ciclos de edición-prueba-depuración de los agentes de codificación y reducir la latencia entre llamadas a herramientas en aplicaciones interactivas. Philippe Tillet, responsable de inferencia en OpenAI, destacó cómo las herramientas de NVIDIA permitieron a sus modelos crear núcleos de alto rendimiento para hardware NVIDIA. Uday Ruddarraju, director tecnológico de computación de OpenAI, señaló que la empresa utilizó sus modelos internos para optimizar el software de inferencia en la plataforma programable de NVIDIA. Esta colaboración permite a los desarrolladores reutilizar la infraestructura entre entrenamiento, inferencia y aprendizaje por refuerzo a medida que cambian las demandas. Los desarrolladores pueden acceder actualmente a GPT-6 Astra Ultrafast a través de la API, con más detalles disponibles en la guía oficial.
nvidia