Wie Deepgram Sprach-KI im großen Maßstab mit AWS Trainium optimierte
aws ·
Deepgram hat sein Nova-3-Sprach-zu-Text-Modell erfolgreich für AWS-Trainium2-Hardware optimiert, um die Inferenzeffizienz im großen Maßstab zu verbessern. Durch die Zusammenarbeit mit der Forward Deployed Engineering-Abteilung von AWS portierte das Unternehmen das auf PyTorch basierende Modell in den Neuron-Softwarestack und nutzte TorchNeuron zur Kompilierung. Der Optimierungsprozess bestand darin, Standard-Layer durch fusionierte Kernel aus der NKI-Bibliothek zu ersetzen und manuelle Kernel-Tuning-Maßnahmen mit den Tools Neuron Explorer und NAD durchzuführen. Um den Durchsatz zu maximieren, implementierte Deepgram einen datenparallelen Rust-Laufzeitumgebung, die den Overhead des Python-Interpreters und Probleme mit der GIL-Serialisierung eliminiert. Diese Konfiguration ermöglicht es, acht Modellexemplare auf einer einzelnen trn2.3xlarge-Instanz auszuführen, was die Leistung für Offline-Batch-Arbeitslasten erheblich steigert. Infolgedessen verarbeitet Deepgram 11–70 Prozent mehr Audio pro Dollar im Vergleich zu früheren Compute-Optionen. Diese Verbesserungen ermöglichen es dem Unternehmen, jährlich Quadrillionen von Audiotokens zu bedienen und gleichzeitig die Kosten für Kunden zu senken, die Amazon SageMaker AI selbst hosten.
aws