Block Джека Дорси представляет Dessa: эмоционально выразительный голосовой ИИ, работающий локально
aiinsider ·
Компания Jack Dorsey, Block, представила Dessa — новую модель голосового ИИ, разработанную её исследовательской лабораторией и работающую локально на потребительском оборудовании. Модель способна генерировать эмоционально выразительную речь, включая смех, паузы и плач, без использования внешних систем преобразования текста в речь. В отличие от многих конкурентов, использующих отдельные большие языковые модели для получения знаний, Dessa формирует понимание диалога непосредственно на основе данных обучения. Система работает как полнодуплексная модель, позволяя одновременно говорить и слушать, что напоминает функционал GPT-Live от OpenAI. Block утверждает, что такой подход позволяет избежать потери информации, характерной для преобразования речи в текст, обеспечивая более естественный пользовательский опыт. Хотя модель обучалась на человеческой речи с использованием одной стойки графических процессоров NVIDIA, она пока не доступна публично, но тестируется исследователями по безопасности. Она может работать на таких устройствах, как MacBook M4 Max, что потенциально поможет Block расширить использование голосовых функций при снижении затрат.
aiinsider