Как Deepgram оптимизировала голосовой ИИ в масштабе с помощью AWS Trainium
aws ·
Deepgram успешно оптимизировала свою модель распознавания речи Nova-3 для аппаратного обеспечения AWS Trainium2, чтобы повысить эффективность вывода данных в масштабе. В сотрудничестве с командой Forward Deployed Engineering от AWS компания перенесла модель на базе PyTorch в программный стек Neuron и использовала TorchNeuron для компиляции. Процесс оптимизации включал замену стандартных слоев слитыми ядрами из библиотеки NKI и ручную настройку ядер с помощью инструментов Neuron Explorer и NAD. Для максимизации пропускной способности Deepgram реализовала среду выполнения на языке Rust с параллелизмом по данным, которая устраняет накладные расходы интерпретатора Python и проблемы сериализации из-за глобальной блокировки интерпретатора (GIL). Эта конфигурация позволяет запускать восемь реплик модели на одном экземпляре trn2.3xlarge, что значительно повышает производительность для пакетных задач офлайн-обработки. В результате Deepgram обрабатывает на 11–70 % больше аудиоданных на каждый доллар по сравнению с предыдущими вычислительными решениями. Эти улучшения позволяют компании ежегодно обслуживать квадриллионы аудио токенов при одновременном снижении затрат для клиентов, использующих саморазмещение на платформе Amazon SageMaker AI.
aws