Open TTS Leaderboard: Avaliação escalável para Text-to-Speech multilíngue e clonagem de voz
huggingface ·
A equipe do Hugging Face lançou o Open TTS Leaderboard para resolver os problemas de escalabilidade dos métodos de avaliação baseados em arenas existentes para modelos de texto-para-fala. Diferentemente dos rankings votados por humanos, que têm dificuldade em acompanhar o lançamento rápido de mais de 8.000 modelos de código aberto, esta nova plataforma depende de métricas objetivas, como taxa de erro de palavras, similaridade de voz e velocidade de inferência. Ao utilizar o Qwen3 ASR para verificações de inteligibilidade e o WavLM para avaliação de clonagem de voz, o ranking reduz o tempo de avaliação de semanas para horas. O sistema destaca os principais desempenhos, como hexgrad/Kokelo-82M para precisão em inglês e k2-fsa/OmniVoice para capacidades multilíngues. Ele também apresenta uma aba 'Listen' (Ouvir), onde os usuários podem comparar saídas de áudio e votar, preenchendo a lacuna entre escores automatizados e preferências humanas. Além disso, o desempenho em streaming é medido por meio do tempo até o primeiro áudio para apoiar aplicações interativas, com kyutai/pocket-tts sendo destacado por sua eficiência tanto em GPU quanto em CPU. A iniciativa visa priorizar modelos de código aberto frequentemente negligenciados por arenas focadas no setor comercial, ao mesmo tempo que convida feedback da comunidade para refinar avaliações futuras.
huggingface