Comment Deepgram a optimisé l'IA vocale à grande échelle avec AWS Trainium
aws ·
Deepgram a optimisé avec succès son modèle de reconnaissance vocale Nova-3 pour le matériel AWS Trainium2 afin d'améliorer l'efficacité de l'inférence à grande échelle. En collaborant avec l'équipe Forward Deployed Engineering d'AWS, l'entreprise a porté son modèle basé sur PyTorch vers la pile logicielle Neuron et utilisé TorchNeuron pour la compilation. Le processus d'optimisation a consisté à remplacer les couches standard par des noyaux fusionnés de la bibliothèque NKI et à effectuer un réglage manuel des noyaux à l'aide des outils Neuron Explorer et NAD. Pour maximiser le débit, Deepgram a implémenté un runtime parallèle en données écrit en Rust, éliminant ainsi les surcoûts liés à l'interpréteur Python et les problèmes de sérialisation dus au GIL. Cette configuration permet d'exécuter huit répliques du modèle sur une seule instance trn2.3xlarge, augmentant considérablement les performances pour les charges de travail par lots hors ligne. En conséquence, Deepgram traite entre 11 % et 70 % plus d'audio par dollar par rapport aux options de calcul précédentes. Ces améliorations permettent à l'entreprise de servir des quadrillions de jetons audio annuellement tout en réduisant les coûts pour les clients qui auto-hébergent leurs solutions sur Amazon SageMaker AI.
aws