Runway quiere convertir la generación de vídeo con IA en una emisión en directo controlable en tiempo real
decoder ·
Runway está investigando la generación de video en tiempo real, en la que los usuarios describen una escena y controlan un video transmitido en lugar de esperar a que termine un clip. Su enfoque construye cada nuevo segmento a partir de todos los fotogramas generados previamente y busca reducir el tiempo hasta el primer fotograma, los retrasos en las revisiones y los costos de GPU. Runway afirma que un desafío clave es la acumulación de errores, por lo que entrena modelos con sus propios resultados imperfectos para ayudarlos a corregir las desviaciones. La empresa ve aplicaciones en la educación, los videojuegos, la robótica y las pruebas de vehículos autónomos, donde los entornos generados deben responder de inmediato. Este trabajo está relacionado con GWM-1, Runway Characters, Solaris, GWM Robotics y una colaboración con Nvidia cuyo objetivo es generar un primer fotograma en menos de 100 milisegundos con hardware Vera Rubin. Runway no ha anunciado cuándo estará disponible su sistema en tiempo real, mientras que entre los esfuerzos relacionados se incluyen MirageLSD, de Decart; Genie 3, de Google DeepMind; y el modelo del mundo centrado en carreteras de Waymo.
decoder