Uma análise mais detalhada do Phonon TTS: Lançamento de fala de alta qualidade no dispositivo que lidera os benchmarks
huggingface ·
A Gradium lançou o Phonon, um modelo de texto para fala (TTS) de alta qualidade projetado para funcionar inteiramente em dispositivos locais, sem necessidade de conectividade com a internet ou servidores em nuvem. Os modelos estão disponíveis em dois tamanhos pequenos, aproximadamente 65 MB e 75 MB, e suportam inglês, francês, alemão, espanhol e português, com mais de 100 vozes pré-instaladas. O Phonon utiliza técnicas de correspondência de fluxo derivadas da linhagem do Pocket TTS para alcançar uma qualidade de áudio superior apesar de seu tamanho compacto. Nas suas duas primeiras semanas, o projeto recebeu grande atenção, registrando mais de 200.000 downloads e tornando-se tendência no Hugging Face. No Hugging Face Open TTS Leaderboard, o Phonon ficou em primeiro lugar em inteligibilidade para alemão e espanhol, além de liderar os benchmarks de streaming por CPU em velocidade. O lançamento inclui uma versão licenciada sob Apache 2.0 para uso comercial e variantes não comerciais, juntamente com um novo framework de inferência chamado ptts, que suporta vários backends de hardware, como CPUs, GPUs e NPUs. Desenvolvedores podem integrar o Phonon em aplicativos usando a biblioteca Transformers ou implementações personalizadas, permitindo recursos como clonagem de voz e operação offline.
huggingface