Mehr Leistung pro Byte: Wie Full-Stack-Codesign die AI-Speicherausforderung löst
nvidia ·
NVIDIA begegnet dem wachsenden Speicherdruck bei der KI-Inferenz durch ein Full-Stack-Codesign, das GPUs, CPUs, Netzwerke und Software integriert, um die Leistung zu optimieren. Da Modelle größer werden und agentic-Anwendungen mehr Kontext benötigen, steht der Hochbandbreitspeicher (HBM) der GPUs unter erheblicher Belastung durch Modellgewichte und den KV-Cache. Statt die HBM-Kapazität einfach zu erhöhen, nutzt NVIDIA Techniken wie NVFP4-Präzision, um Datenfüße zu verkleinern, und verteilt Gewichte über NVL72-Domänen. Das Unternehmen setzt zudem die NVIDIA Dynamo-Software ein, um inaktiven Kontext auf kostengünstigere Speichertier auszulagern, während aktive Daten im schnelleren Speicher verbleiben. Dieser hierarchische Ansatz stellt sicher, dass teurer HBM für kritische Berechnungen reserviert bleibt, was die Effizienz erheblich verbessert. Neue Plattformen wie Vera Rubin weisen daher bis zu eine 30-fache Steigerung der agentic-Durchsatzleistung pro Dollar im Vergleich zu vorherigen Generationen auf, trotz nur marginaler Zuwächse bei der reinen HBM-Kapazität. Diese Strategie ermöglicht es KI-Fabriken, innerhalb der Strombudgets mehr nutzbare Token auszugeben und gleichzeitig die Kosten zu senken.
nvidia