Runway 希望将 AI 视频生成变成可实时操控的直播
decoder ·
Runway正在研究一种实时视频生成方式:用户描述场景并实时引导串流视频,而不是等待完整片段生成。该方法利用此前生成的所有帧来构建每个新片段,旨在缩短生成第一帧的时间、减少修改延迟和GPU成本。Runway表示,一个关键挑战是错误累积,因此公司让模型使用自身生成的不完美输出进行训练,以帮助模型纠正偏差。Runway认为,这项技术可应用于教育、游戏、机器人和自动驾驶汽车测试等领域,因为这些场景中的生成环境需要立即做出响应。这项工作与Runway的GWM-1、Runway Characters、Solaris、GWM Robotics项目,以及与英伟达的合作有关;后者的目标是在Vera Rubin硬件上将生成第一帧的时间缩短至100毫秒以内。Runway尚未宣布其实时系统何时上市;相关研发还包括Decart的MirageLSD、Google DeepMind的Genie 3,以及Waymo专注于道路的世界模型。
decoder