Come le GPU NVIDIA accelerano il GPT-6 Astra Ultrafast di OpenAI
nvidia ·
OpenAI ha rilasciato GPT-6 Astra Ultrafast, una nuova modalità del modello disponibile tramite l'API di OpenAI e per gli utenti idonei di ChatGPT Work e Codex. Questa versione gira su GPU NVIDIA Blackwell e offre una generazione dei token fino a otto volte più veloce rispetto alla modalità Astra standard. L'accelerazione è ottenuta attraverso ottimizzazioni continue dell'inferenza che sfruttano le capacità dell'architettura NVIDIA Blackwell. Questi miglioramenti delle prestazioni sono progettati per accorciare i cicli di modifica-test-debug degli agenti di codifica e ridurre la latenza tra le chiamate agli strumenti nelle applicazioni interattive. Philippe Tillet, responsabile dell'inferenza presso OpenAI, ha evidenziato come gli strumenti di NVIDIA abbiano consentito ai loro modelli di creare kernel ad alte prestazioni per l'hardware NVIDIA. Uday Ruddarraju, chief technology officer del compute di OpenAI, ha sottolineato che l'azienda ha utilizzato i suoi modelli interni per ottimizzare il software di inferenza sulla piattaforma programmabile di NVIDIA. Questa collaborazione consente agli sviluppatori di riutilizzare l'infrastruttura tra addestramento, inferenza e apprendimento per rinforzo man mano che cambiano le esigenze. Gli sviluppatori possono attualmente accedere a GPT-6 Astra Ultrafast tramite l'API, con ulteriori dettagli disponibili nella guida ufficiale.
nvidia