Google DeepMind发布具备实时编辑和音频功能的Genie 4世界模型
aiinsider ·
Google DeepMind 发布了其最新的世界模型 Genie 4，目前处于研究预览阶段。该系统能够生成高度逼真且可交互的模拟环境，允许用户通过文本提示实时修改场景。在模型同步生成匹配音频（包括音乐和对白）的同时，用户可以改变天气状况、调整摄像机角度或引入角色和物体。该模拟能保持场景一致性长达两分钟，是前代产品 Genie 3 时长的两倍。Gemini 作为集成导演负责规划步骤并验证帧质量，从而提升输出的连贯性。在机器人实验中，这种集成实现了对任务分解的实时模拟，为物理部署前的机器人测试提供了潜在平台。尽管早期测试者认为其在电影原型制作方面具有价值，但工程师指出，物体漂移和音频准确性等挑战仍是需要改进的领域。
aiinsider