Deepgram如何利用AWS Trainium优化大规模语音AI
aws ·
Deepgram已成功将其Nova-3语音转文本模型针对AWS Trainium2硬件进行优化,以提升大规模推理效率。通过与AWS前瞻性部署工程团队合作,该公司将基于PyTorch的模型移植到Neuron软件栈,并利用TorchNeuron进行编译。优化过程包括用NKI库中的融合内核替换标准层,并使用Neuron Explorer和NAD工具进行手动内核调优。为最大化吞吐量,Deepgram实现了一个数据并行的Rust运行时,消除了Python解释器开销和GIL序列化问题。该配置允许在单个trn2.3xlarge实例上运行八个模型副本,显著提升了离线批处理工作负载的性能。结果,与之前的计算选项相比,Deepgram每美元处理的音频量增加了11%至70%。这些改进使公司能够每年处理数千万亿个音频令牌,同时降低了在Amazon SageMaker AI上自托管客户的成本。
aws