Open TTS Leaderboard : Évaluation évolutive pour la synthèse vocale multilingue et le clonage vocal
huggingface ·
L'équipe de Hugging Face a lancé le Open TTS Leaderboard pour résoudre les problèmes d'évolutivité des méthodes d'évaluation basées sur des arènes existantes pour les modèles de synthèse vocale (TTS). Contrairement aux classements votés par les humains, qui peinent à suivre le rythme de sortie rapide de plus de 8 000 modèles open source, cette nouvelle plateforme s'appuie sur des métriques objectives telles que le taux d'erreur sur les mots (WER), la similarité de voix et la vitesse d'inférence. En utilisant Qwen3 ASR pour vérifier l'intelligibilité et WavLM pour évaluer le clonage vocal, le leaderboard réduit le temps d'évaluation de plusieurs semaines à quelques heures. Le système met en avant les meilleurs performers comme hexgrad/Kokelo-82M pour la précision en anglais et k2-fsa/OmniVoice pour ses capacités multilingues. Il comprend également un onglet « Listen » permettant aux utilisateurs de comparer les sorties audio et de voter, comblant ainsi le fossé entre les scores automatisés et les préférences humaines. De plus, les performances en streaming sont mesurées via le délai jusqu'à la première audio (time-to-first-audio) pour soutenir les applications interactives, avec kyutai/pocket-tts noté pour son efficacité sur GPU et CPU. Cette initiative vise à privilégier les modèles open source souvent négligés par les arènes axées sur le commercial, tout en invitant la communauté à fournir des retours pour affiner les futures évaluations.
huggingface