Open TTS Leaderboard: Масштабируемая оценка для многоязычного синтеза речи и клонирования голоса
huggingface ·
Команда Hugging Face запустила Open TTS Leaderboard, чтобы решить проблемы масштабируемости существующих методов оценки на основе арены для моделей синтеза речи. В отличие от лидербордов, основанных на голосовании пользователей, которые не успевают за быстрым выходом более 8000 открытых моделей, новая платформа опирается на объективные метрики, такие как ошибка распознавания слов (WER), сходство голоса и скорость вывода. Используя Qwen3 ASR для проверки разборчивости и WavLM для оценки клонирования голоса, лидерборд сокращает время оценки с недель до часов. Система выделяет лучших исполнителей, таких как hexgrad/Kokelo-82M для точности в английском языке и k2-fsa/OmniVoice для многоязычных возможностей. Также присутствует вкладка «Listen», где пользователи могут сравнивать аудиовыходы и голосовать, что помогает преодолеть разрыв между автоматическими оценками и человеческими предпочтениями. Кроме того, производительность потоковой передачи измеряется через время до первого аудио (time-to-first-audio) для поддержки интерактивных приложений; kyutai/pocket-tts отмечен за свою эффективность как на GPU, так и на CPU. Инициатива направлена на то, чтобы уделять приоритетное внимание открытым моделям, которые часто остаются без внимания в коммерчески ориентированных рейтингах, а также приглашает сообщество к обратной связи для улучшения будущих оценок.
huggingface