Comment les GPU NVIDIA accélèrent le GPT-6 Astra Ultrafast d'OpenAI
nvidia ·
OpenAI a lancé GPT-6 Astra Ultrafast, un nouveau mode de modèle disponible via l'API OpenAI et pour les utilisateurs éligibles de ChatGPT Work et Codex. Cette version s'exécute sur des GPU NVIDIA Blackwell et offre une génération de tokens jusqu'à huit fois plus rapide par rapport au mode Astra standard. Cette accélération est rendue possible grâce à des optimisations continues d'inférence qui exploitent les capacités de l'architecture NVIDIA Blackwell. Ces gains de vitesse visent à raccourcir les cycles d'édition-test-débogage des agents de codage et à réduire la latence entre les appels d'outils dans les applications interactives. Philippe Tillet, responsable de l'inférence chez OpenAI, a souligné comment les outils de NVIDIA ont permis à leurs modèles de créer des noyaux haute performance pour le matériel NVIDIA. Uday Ruddarraju, directeur de la technologie du calcul chez OpenAI, a indiqué que l'entreprise a utilisé ses modèles internes pour optimiser les logiciels d'inférence sur la plateforme programmable de NVIDIA. Cette collaboration permet aux développeurs de réaffecter les infrastructures entre l'entraînement, l'inférence et l'apprentissage par renforcement à mesure que la demande évolue. Les développeurs peuvent actuellement accéder à GPT-6 Astra Ultrafast via l'API, avec davantage de détails disponibles dans le guide officiel.
nvidia