जानें कि कब किसने बात की: NVIDIA Nemotron 3 डायरिज़ेशन के साथ रियल-टाइम मल्टी-स्पीकर AI बनाएं
huggingface ·
NVIDIA ने रियल-टाइम, मल्टी-स्पीकर ऑडियो विश्लेषण के लिए डिज़ाइन किए गए 100 मिलियन पैरामीटर वाले ओपन-वेट मॉडल Nemotron 3 Diarization को जारी किया है। यह मॉडल Voice Arena के प्रारंभिक Diarization-Bench लीडरबोर्ड पर पहले स्थान पर है और अंग्रेजी संवादों में 14.72% का डायराइजेशन एरर रेट (DER) हासिल करता है। यह आठ एक साथ बोलने वाले वक्ताओं का समर्थन करता है और Arrival-order स्पीकर कैशिंग का उपयोग करने वाली Sortformer-आधारित आर्किटेक्चर के माध्यम से ओवरलैपिंग speech को प्रभावी ढंग से संभालता है। यह दृष्टिकोण ऑडियो चंक के बीच संदर्भ बनाए रखकर स्ट्रीमिंग इनफरेंस के दौरान स्थिर स्पीकर लेबलिंग सुनिश्चित करता है। बेंचमार्क बताते हैं कि 1.04 सेकंड की लैटेंसी पर पिछले NVIDIA बेलाइन की तुलना में DER में औसतन 40% सापेक्ष कमी आई है। सिस्टम ऑफलाइन प्रोसेसिंग से लेकर 0.32 सेकंड जितनी अल्ट्रा-लो-लैटेंसी स्ट्रीमिंग तक विभिन्न कॉन्फ़िगरेशन ऑपरेटिंग पॉइंट्स प्रदान करता है। डेवलपर NVIDIA NeMo Speech के माध्यम से मॉडल को इंटीग्रेट कर सकते हैं ताकि ऑटोमैटिक स्पीच रेकग्निशन के साथ संयोजन में स्पीकर-अट्रिब्यूटेड ट्रांसक्रिप्ट बन सकें। मॉडल OpenMDW लाइसेंस एग्रीमेंट के तहत उपलब्ध है और संगत NVIDIA हार्डवेयर पर विभिन्न ऑडियो फॉर्मेट का समर्थन करता है।
huggingface