ओपन टीटीएस लीडरबोर्ड: बहुभाषी टेक्स्ट-टू-स्पीच और वॉइस क्लोनिंग के लिए स्केलेबल मूल्यांकन
huggingface ·
Hugging Face टीम ने टेक्स्ट-टू-स्पीच मॉडल के लिए मौजूदा एरीना-आधारित मूल्यांकन विधियों में स्केलेबिलिटी की समस्याओं को दूर करने के लिए ओपन TTS लीडरबोर्ड लॉन्च किया है। मानव-मतदान वाले लीडरबोर्ड के विपरीत, जो 8,000 से अधिक ओपन-सोर्स मॉडल की तेजी से रिलीज होने की गति का समर्थन नहीं कर पाते हैं, यह नई प्लेटफ़ॉर्म शब्द त्रुटि दर, वक्ता समानता और इनफ़रेंस गति जैसे वस्तुनिष्ठ मापदंडों पर निर्भर करता है। intelligibility जाँच के लिए Qwen3 ASR और वॉइस क्लोनिंग मूल्यांकन के लिए WavLM का उपयोग करते हुए, यह लीडरबोर्ड मूल्यांकन समय को सप्ताहों से घटाकर घंटों में ला देता है। अंग्रेजी सटीकता के लिए hexgrad/Kokelo-82M और बहुभाषी क्षमताओं के लिए k2-fsa/OmniVoice जैसे शीर्ष प्रदर्शकों को इसमें उजागर किया गया है। इसमें एक 'Listen' टैब भी शामिल है जहाँ उपयोगकर्ता ऑडियो आउटपुट की तुलना कर सकते हैं और वोट दे सकते हैं, जिससे स्वचालित स्कोर और मानव पसंद के बीच की खाई पाटी जाती है। इंटरैक्टिव अनुप्रयोगों का समर्थन करने के लिए स्ट्रीमिंग प्रदर्शन को टाइम-टू-फर्स्ट-ऑडियो के माध्यम से मापा जाता है, और kyutai/pocket-tts को GPU और CPU दोनों पर अपनी दक्षता के लिए नोट किया गया है। यह पहल व्यापारिक-केंद्रित एरीनाओं द्वारा अक्सर नज़रअंदाज किए जाने वाले ओपन-सोर्स मॉडलों को प्राथमिकता देने के उद्देश्य से है और भविष्य के मूल्यांकनों को परिष्कृत करने के लिए सामुदायिक प्रतिक्रिया आमंत्रित करती है।
huggingface