От мегаватт к токенам: как NVIDIA максимизирует производство ИИ-фабрик
nvidia ·
NVIDIA представила платформу DSX для оптимизации производства в «ИИ-фабриках» за счет максимизации пропускной способности токенов в рамках фиксированных бюджетов по потреблению энергии. Ранние развертывания показали, что интеллектуальное управление рабочими нагрузками может увеличить общую пропускную способность токенов кластера на 24% без расширения энергопотребления. Система позволяет дата-центрам автоматически реагировать на сигналы энергосети, снижая спрос на электроэнергию в пиковые периоды при сохранении критически важных задач высокого приоритета. Компания Lambda Cloud подтвердила эти возможности, продемонстрировав значительное улучшение производительности на ватт с использованием серверов GPU NVIDIA HGX B200. Кроме того, NVIDIA разрабатывает архитектуру постоянного тока напряжением 800 В для дальнейшего повышения эффективности и поддержки более плотных вычислительных стоек для будущих поколений, таких как Vera Rubin. За счет совместного проектирования вычислительных систем, сетей и систем охлаждения платформа направлена на устранение инфраструктурных узких мест, которые обычно замедляют строительство новых линий электропередачи. Этот комплексный подход гарантирует, что ИИ-фабрики станут диспетчеризируемыми ресурсами, гармонично взаимодействующими с электросетью. В конечном итоге технология призвана обеспечить получение большего объема полезной вычислительной мощности от каждого потребленного мегаватта.
nvidia