Google veut que l'IA vidéo comprenne ce dont les gens ont besoin pendant qu'ils travaillent
decoder ·
Des chercheurs de Google, en collaboration avec les universités de Stanford et d'Oxford, ont présenté StreamVibe, un agent d'IA vidéo conçu pour assister proactivement les utilisateurs en déterminant quand une intervention est nécessaire. Contrairement aux assistants traditionnels qui nécessitent des commandes explicites, StreamVibe peut interpréter des demandes vagues telles que « aide-moi si je rencontre des difficultés » tout en suivant l'avancement des tâches et les changements d'intention de l'utilisateur. Le système utilise une composante mémoire pour distinguer les étapes en attente de celles qui sont terminées, visant à réduire les interruptions inutiles et à améliorer le timing des réponses. Des tests sur un jeu de référence de plus de 4 100 exemples ont montré que StreamVibe-VL surpassait les autres modèles d'environ 10,7 % en qualité de réponse. Cependant, l'étude met en lumière des défis importants pour l'IA actuelle, notant que les performances se dégradent considérablement dans les vidéos de plus de cinq minutes en raison d'erreurs cumulatives. Dans des tests spécifiques impliquant des tutoriels logiciels et des guides de cuisine, StreamVibe a fourni les prochaines étapes pertinentes, tandis que les modèles de comparaison se contentaient souvent de décrire les actions visuelles ou donnaient des conseils incorrects. Malgré ces améliorations, les chercheurs reconnaissent que la complexité du monde réel reste supérieure à celle de leur environnement de test et prévoient d'investiguer davantage les influences environnementales.
decoder