AWS Trainium के साथ स्केल पर वॉइस AI को अनुकूलित करने में Deepgram की सफलता
aws ·
Deepgram ने AWS Trainium2 हार्डवेयर के लिए अपने Nova-3 स्पीच-टू-टेक्स्ट मॉडल को सफलतापूर्वक अनुकूलित किया है, ताकि बड़े पैमाने पर इनफरेंस दक्षता में सुधार हो सके। AWS फॉरवर्ड डिप्लॉयड इंजीनियरिंग के साथ सहयोग करते हुए, कंपनी ने पाइटॉर्च-आधारित मॉडल को न्यूरॉन सॉफ्टवेयर स्टैक में पोर्ट किया और कंपाइलेशन के लिए TorchNeuron का उपयोग किया। अनुकूलन प्रक्रिया में मानक परतों को NKI लाइब्रेरी से फ्यूज्ड kernels से बदला गया और Neuron Explorer तथा NAD टूल्स का उपयोग करके मैनुअल kernel ट्यूनिंग की गई। थ्रूपुट को अधिकतम करने के लिए, Deepgram ने एक डेटा-पैरेलल Rust रनटाइम लागू किया जो पाइथन इंटरप्रीटर ओवरहेड और GIL सीरियलाइज़ेशन समस्याओं को समाप्त करता है। इस कॉन्फ़िगरेशन के कारण एकल trn2.3xlarge इंसटेंस पर आठ मॉडल रेप्लिका चल सकते हैं, जिससे ऑफ़लाइन बैच वर्कलोड के लिए प्रदर्शन में काफी वृद्धि हुई है। इसके परिणामस्वरूप, पिछले कंप्यूट विकल्पों की तुलना में Deepgram प्रति डॉलर 11–70 प्रतिशत अधिक ऑडियो प्रोसेस कर रहा है। ये सुधार कंपनी को वार्षिक रूप से क्वड्रिलियन ऑडियो टोकन सेवा करने में सक्षम बनाते हैं, जबकि Amazon SageMaker AI पर स्वयं होस्टिंग करने वाले ग्राहकों के लिए लागत कम करते हैं।
aws