Como a Deepgram otimizou a IA de voz em escala com o AWS Trainium
aws ·
A Deepgram otimizou com sucesso seu modelo de fala para texto Nova-3 para o hardware AWS Trainium2, melhorando a eficiência da inferência em escala. Ao colaborar com a equipe de Engenharia de Implantação Antecipada da AWS, a empresa portou o modelo baseado em PyTorch para a pilha de software Neuron e utilizou o TorchNeuron para compilação. O processo de otimização envolveu a substituição de camadas padrão por kernels fundidos da Biblioteca NKI e o ajuste manual de kernels usando as ferramentas Neuron Explorer e NAD. Para maximizar a taxa de transferência, a Deepgram implementou um runtime paralelo em dados escrito em Rust que elimina a sobrecarga do interpretador Python e os problemas de serialização do GIL. Essa configuração permite que oito réplicas do modelo sejam executadas em uma única instância trn2.3xlarge, aumentando significativamente o desempenho para cargas de trabalho em lote offline. Como resultado, a Deepgram processa de 11% a 70% mais áudio por dólar em comparação com opções anteriores de computação. Essas melhorias permitem que a empresa atenda a quadrilhões de tokens de áudio anualmente, reduzindo os custos para clientes que hospedam seus próprios serviços na Amazon SageMaker AI.
aws