Cómo Deepgram optimizó la IA de voz a escala con AWS Trainium
aws ·
Deepgram ha optimizado con éxito su modelo de conversión de voz a texto Nova-3 para el hardware AWS Trainium2, mejorando la eficiencia de inferencia a gran escala. Mediante una colaboración con el equipo de Ingeniería de Implementación Adelantada de AWS, la empresa portó el modelo basado en PyTorch al conjunto de software Neuron y utilizó TorchNeuron para la compilación. El proceso de optimización implicó reemplazar capas estándar por núcleos fusionados de la biblioteca NKI y realizar un ajuste manual de núcleos utilizando las herramientas Neuron Explorer y NAD. Para maximizar el rendimiento, Deepgram implementó un entorno de ejecución en Rust paralelo a los datos que elimina la sobrecarga del intérprete de Python y los problemas de serialización del GIL. Esta configuración permite ejecutar ocho réplicas del modelo en una sola instancia trn2.3xlarge, lo que aumenta significativamente el rendimiento para cargas de trabajo por lotes fuera de línea. Como resultado, Deepgram procesa entre un 11 % y un 70 % más de audio por dólar en comparación con las opciones de computación anteriores. Estas mejoras permiten a la empresa atender billones de tokens de audio anualmente mientras reduce los costos para los clientes que alojan sus propios sistemas en Amazon SageMaker AI.
aws