Ваша модель работает на AWS Trainium? Проверьте здесь
huggingface ·
Hugging Face представил новое пространство (Space), помогающее пользователям определить, работают ли их модели на AWS Trainium с использованием бэкенда TorchNeuron. Этот инструмент позволяет искать популярные модели по имени или просматривать списки трендовых и скачиваемых моделей для проверки статуса совместимости. Интерфейс отображает ключевые метрики, такие как количество используемых ядер Trainium, время компиляции и пиковое использование памяти для каждой протестированной модели. Пользователи также могут получить доступ к конкретным скриптам Python, необходимым для запуска этих моделей на инстансах Trainium2 самостоятельно. Процесс тестирования включает загрузку моделей с тензорным или экспертным параллелизмом и проверку точности выходных данных путем сравнения с результатами выполнения на CPU или проверками связности текста. В настоящее время база данных сосредоточена на моделях генерации текста и преобразования «изображение-текст в текст», которые помещаются в четыре устройства Trainium2. Все результаты тестов хранятся в общедоступном наборе данных, что позволяет разработчикам напрямую запрашивать данные о совместимости через код.
huggingface