Google DeepMind выпустила мировую модель Genie 4 с редактированием в реальном времени и звуком
aiinsider ·
Google DeepMind выпустила Genie 4, свою новейшую модель мира, на этапе исследовательского предварительного просмотра. Эта новая система генерирует фотореалистичные и интерактивные симулированные среды, позволяющие пользователям изменять сцены в реальном времени с помощью текстовых запросов. Пользователи могут менять погодные условия, корректировать углы обзора камеры или добавлять персонажей и объекты, при этом модель одновременно создает соответствующий звук, включая музыку и диалоги. Симуляция сохраняет согласованность сцены до двух минут, что вдвое превышает продолжительность работы ее предшественника — Genie 3. Gemini выступает в роли интегрированного режиссера для планирования шагов и проверки качества кадров, повышая связность выходных данных. В экспериментах по робототехнике эта интеграция позволила осуществлять симуляцию разбора задач в реальном времени, предлагая потенциальную площадку для тестирования развертывания роботов перед их физической реализацией. Хотя ранние тестировщики находят ценность в прототипировании фильмов, инженеры отмечают, что такие проблемы, как дрейф объектов и точность звука, остаются областями для улучшения.
aiinsider