Open TTS Leaderboard: Skalierbare Bewertung für mehrsprachige Text-to-Speech und Stimmklonen
huggingface ·
Das Hugging Face-Team hat das Open TTS Leaderboard eingeführt, um die Skalierbarkeitsprobleme bestehender, auf Arenen basierender Evaluierungsmethoden für Text-zu-Sprache-Modelle zu lösen. Im Gegensatz zu menschlich bewerteten Leaderboards, die mit der schnellen Veröffentlichung von über 8.000 Open-Source-Modellen nicht Schritt halten können, stützt sich diese neue Plattform auf objektive Metriken wie Wortfehlerquote, Sprecherähnlichkeit und Inferenzgeschwindigkeit. Durch den Einsatz von Qwen3 ASR für Verständlichkeitsprüfungen und WavLM zur Bewertung des Voice Clonings wird die Evaluierungszeit von Wochen auf Stunden reduziert. Das System hebt Top-Leistungsträger wie hexgrad/Kokelo-82M für die englische Genauigkeit und k2-fsa/OmniVoice für multilinguale Fähigkeiten hervor. Es verfügt außerdem über eine „Hören“-Registerkarte, auf der Nutzer Audioausgaben vergleichen und abstimmen können, wodurch die Lücke zwischen automatisierten Bewertungen und menschlichen Präferenzen geschlossen wird. Darüber hinaus wird die Streaming-Leistung über die Zeit bis zum ersten Audiofragment gemessen, um interaktive Anwendungen zu unterstützen; kyutai/pocket-tts wird hier für seine Effizienz sowohl auf GPU als auch auf CPU hervorgehoben. Die Initiative zielt darauf ab, Open-Source-Modelle, die von kommerziell ausgerichteten Arenen oft übersehen werden, priorisiert darzustellen und lädt die Community ein, Feedback zu geben, um zukünftige Bewertungen zu verfeinern.
huggingface