Google quer que a IA em vídeo entenda o que as pessoas precisam enquanto trabalham
decoder ·
Pesquisadores do Google, em colaboração com as universidades de Stanford e Oxford, apresentaram o StreamVibe, um agente de IA para vídeo projetado para auxiliar os usuários de forma proativa, determinando quando a intervenção é necessária. Diferente dos assistentes tradicionais que exigem comandos explícitos, o StreamVibe pode interpretar solicitações vagas, como "ajude se eu tiver dificuldades", ao mesmo tempo que acompanha o progresso da tarefa e as intenções em mudança do usuário. O sistema utiliza um componente de memória para distinguir entre etapas pendentes e concluídas, visando reduzir interrupções desnecessárias e melhorar o timing das respostas. Testes em uma base de dados com mais de 4.100 exemplos mostraram que o StreamVibe-VL superou outros modelos em aproximadamente 10,7% na qualidade da resposta. No entanto, o estudo destaca desafios significativos para a IA atual, observando que o desempenho degrada substancialmente em vídeos com mais de cinco minutos devido a erros acumulados. Em testes específicos envolvendo tutoriais de software e guias de culinária, o StreamVibe forneceu próximos passos relevantes, enquanto os modelos de comparação frequentemente apenas descreviam ações visuais ou davam conselhos incorretos. Apesar dessas melhorias, os pesquisadores reconhecem que a complexidade do mundo real permanece maior do que seu ambiente de teste e planejam investigar influências ambientais adicionais.
decoder