Runway хочет превратить генерацию видео с помощью ИИ в управляемую в реальном времени прямую трансляцию
decoder ·
Runway исследует генерацию видео в реальном времени, при которой пользователи описывают сцену и управляют транслируемым видео вместо того, чтобы ждать готового ролика. Такой подход создает каждый новый фрагмент на основе всех ранее сгенерированных кадров и призван сократить время до появления первого кадра, задержки при внесении изменений и расходы на GPU. В Runway говорят, что одной из ключевых проблем является накопление ошибок, поэтому компания обучает модели на их собственных несовершенных результатах, чтобы помочь им исправлять отклонения. Компания видит возможности применения этой технологии в образовании, играх, робототехнике и тестировании автономных автомобилей, где сгенерированные среды должны реагировать немедленно. Эта работа связана с GWM-1, Runway Characters, Solaris и GWM Robotics от Runway, а также с сотрудничеством с Nvidia, целью которого является получение первого кадра менее чем за 100 миллисекунд на оборудовании Vera Rubin. Runway не объявила, когда ее система реального времени станет доступна; среди смежных разработок — MirageLSD от Decart, Genie 3 от Google DeepMind и ориентированная на дороги мировая модель Waymo.
decoder