Open TTS Leaderboard: Valutazione scalabile per Text-to-Speech multilingue e clonazione vocale
huggingface ·
Il team di Hugging Face ha lanciato la Open TTS Leaderboard per affrontare i problemi di scalabilità dei metodi di valutazione basati su arena esistenti per i modelli di text-to-speech. A differenza delle classifiche votate dagli umani, che faticano a tenere il passo con il rapido rilascio di oltre 8.000 modelli open-source, questa nuova piattaforma si basa su metriche oggettive come il word error rate, la somiglianza del parlante e la velocità di inferenza. Utilizzando Qwen3 ASR per i controlli di intelligibilità e WavLM per la valutazione del voice cloning, la leaderboard riduce il tempo di valutazione da settimane a ore. Il sistema evidenzia i migliori performer come hexgrad/Kokelo-82M per l'accuratezza in inglese e k2-fsa/OmniVoice per le capacità multilingue. Presenta inoltre una scheda 'Listen' dove gli utenti possono confrontare gli output audio e votare, colmando il divario tra punteggi automatizzati e preferenze umane. Inoltre, le prestazioni in streaming sono misurate tramite il time-to-first-audio per supportare applicazioni interattive, con kyutai/pocket-tts segnalato per la sua efficienza sia su GPU che su CPU. L'iniziativa mira a dare priorità ai modelli open-source spesso trascurati dalle arene focalizzate sul commerciale, invitando al contempo il feedback della comunità per affinare le future valutazioni.
huggingface