Wie NVIDIA-GPUs den GPT-6 Astra Ultrafast von OpenAI beschleunigen
nvidia ·
OpenAI hat GPT-6 Astra Ultrafast veröffentlicht, einen neuen Modellmodus, der über die OpenAI-API sowie für berechtigte Nutzer von ChatGPT Work und Codex verfügbar ist. Diese Version läuft auf NVIDIA Blackwell-GPUs und bietet eine bis zu achtmal schnellere Token-Generierung im Vergleich zum Standard-Astra-Modus. Die Beschleunigung wird durch kontinuierliche Inferenzoptimierungen erreicht, die die Fähigkeiten der NVIDIA Blackwell-Architektur nutzen. Diese Geschwindigkeitsverbesserungen sollen die Editier-Test-Debug-Zyklen von Coding-Agenten verkürzen und die Latenz zwischen Tool-Aufrufen in interaktiven Anwendungen reduzieren. Philippe Tillet, Inference Lead bei OpenAI, hob hervor, wie die Tools von NVIDIA es ihren Modellen ermöglichten, hochleistungsfähige Kernel für NVIDIA-Hardware zu erstellen. Uday Ruddarraju, Chief Technology Officer of Compute bei OpenAI, betonte, dass das Unternehmen seine internen Modelle zur Optimierung der Inferenzsoftware auf der programmierbaren Plattform von NVIDIA einsetzte. Diese Zusammenarbeit ermöglicht es Entwicklern, Infrastruktur für Training, Inferenz und Reinforcement Learning je nach Bedarf umzuzweigen. Entwickler können GPT-6 Astra Ultrafast derzeit über die API nutzen; weitere Details sind im offiziellen Leitfaden verfügbar.
nvidia