谷歌希望视频AI能了解人们在工作时的需求
decoder ·
谷歌研究人员与斯坦福大学和牛津大学合作推出了StreamVibe，这是一种视频AI代理，旨在通过判断何时需要干预来主动协助用户。与需要明确指令的传统助手不同，StreamVibe能够解读诸如“如果我遇到困难就帮忙”这类模糊请求，同时跟踪任务进度和用户意图的变化。该系统利用记忆组件区分待完成和已完成的步骤，旨在减少不必要的干扰并改善响应时机。在包含4,100多个示例的基准测试中，StreamVibe-VL在响应质量上比其他模型高出约10.7%。然而，该研究强调了当前AI面临的重大挑战，指出由于错误累积，视频时长超过五分钟时性能会显著下降。在涉及软件教程和烹饪指南的具体测试中，StreamVibe提供了相关的下一步操作，而对比模型往往仅描述视觉动作或提供错误建议。尽管取得了这些改进，研究人员承认现实世界的复杂性仍高于其测试环境，并计划进一步调查环境影响因素。
decoder