Come Deepgram ha ottimizzato l'AI vocale su scala con AWS Trainium
aws ·
Deepgram ha ottimizzato con successo il suo modello di riconoscimento vocale Nova-3 per l'hardware AWS Trainium2, migliorando l'efficienza dell'inferenza su larga scala. Collaborando con il team Forward Deployed Engineering di AWS, l'azienda ha migrato il modello basato su PyTorch allo stack software Neuron e ha utilizzato TorchNeuron per la compilazione. Il processo di ottimizzazione ha previsto la sostituzione dei layer standard con kernel fusi della libreria NKI e la regolazione manuale dei kernel tramite gli strumenti Neuron Explorer e NAD. Per massimizzare il throughput, Deepgram ha implementato un runtime in Rust parallelo sui dati che elimina l'overhead dell'interprete Python e i problemi di serializzazione legati al GIL. Questa configurazione consente di eseguire otto repliche del modello su una singola istanza trn2.3xlarge, aumentando significativamente le prestazioni per i carichi di lavoro batch offline. Di conseguenza, Deepgram elabora dal 11% al 70% in più di audio per dollaro rispetto alle opzioni di calcolo precedenti. Questi miglioramenti permettono all'azienda di servire quadrilioni di token audio annualmente, riducendo al contempo i costi per i clienti che ospitano autonomamente i servizi su Amazon SageMaker AI.
aws