Передача речи с низкой задержкой от ИИ-агентов с использованием Kokoro TTS в Amazon SageMaker AI
aws ·
В данной статье демонстрируется, как снизить задержку в голосовых AI-агентах за счет потоковой передачи синтеза речи из текста (TTS) параллельно с генерацией текста с использованием модели Kokoro-82M на Amazon SageMaker AI. Вместо ожидания полного ответа система немедленно отправляет каждое предложение на эндпоинт TTS через двунаправленный WebSocket-поток. Решение включает развертывание пользовательского контейнера на GPU-инстансе ml.g5.xlarge и корректную обработку бинарных WebSocket-кадров в приложении Starlette. Ключевой технической задачей является поддержание постоянного сеанса для избежания накладных расходов на повторное подключение при обработке последовательных предложений. Для передачи аудио клиенту автор сравнивает Server-Sent Events с кодированием base64 и мультиплексирование необработанных бинарных данных по одному соединению. Результаты бенчмарков показывают, что этот инкрементный подход сокращает время до получения первого аудио более чем вдвое в изолированных тестах и улучшает производительность от начала до конца в 2,4–3,5 раза по сравнению с пакетной обработкой. В руководстве приводятся конкретные примеры кода для разбивки на предложения, декодирования кадров и развертывания инфраструктуры с помощью AWS CDK.
aws