Больше производительности с каждого байта: как полностековый кодизайн решает проблему памяти в ИИ
nvidia ·
NVIDIA решает растущую проблему нехватки памяти при выводе ИИ-моделей с помощью полностекового кодизайна, который объединяет GPU, CPU, сетевые технологии и программное обеспечение для оптимизации производительности. По мере увеличения размеров моделей и роста потребности агентных приложений в контексте высокопроизводительная память GPU (HBM) испытывает значительную нагрузку из-за весов моделей и KV-кэша. Вместо простого увеличения емкости HBM NVIDIA использует такие методы, как точность NVFP4 для сокращения объема данных и распределения весов между доменами NVL72. Компания также применяет программное обеспечение NVIDIA Dynamo для перемещения неактивного контекста на более дешевые уровни хранения, оставляя активные данные в более быстрой памяти. Такой иерархический подход обеспечивает сохранение дорогостоящей HBM для критически важных вычислений, что значительно повышает эффективность. В результате новые платформы, такие как Vera Rubin, демонстрируют рост пропускной способности агентных задач на доллар затрат до 30 раз по сравнению с предыдущими поколениями, несмотря лишь на незначительное увеличение емкости HBM. Эта стратегия позволяет ИИ-фабрикам генерировать больше полезных токенов в рамках заданных лимитов энергопотребления при одновременном снижении затрат.
nvidia