A Runway quer transformar a geração de vídeos com IA numa transmissão ao vivo controlável em tempo real
decoder ·
A Runway está pesquisando a geração de vídeo em tempo real, na qual os usuários descrevem uma cena e conduzem um vídeo transmitido, em vez de esperar por um clipe finalizado. Sua abordagem constrói cada novo segmento a partir de todos os quadros gerados anteriormente e busca reduzir o tempo até o primeiro quadro, os atrasos nas revisões e os custos de GPU. A Runway afirma que um desafio fundamental é o acúmulo de erros, por isso treina os modelos com suas próprias saídas imperfeitas para ajudá-los a corrigir desvios. A empresa vê aplicações em educação, jogos, robótica e testes de veículos autônomos, nos quais os ambientes gerados precisam responder imediatamente. Esse trabalho está relacionado ao GWM-1, ao Runway Characters, ao Solaris, ao GWM Robotics e a uma colaboração com a Nvidia que tem como objetivo gerar o primeiro quadro em menos de 100 milissegundos no hardware Vera Rubin. A Runway não anunciou quando seu sistema em tempo real estará disponível, enquanto iniciativas relacionadas incluem o MirageLSD, da Decart, o Genie 3, do Google DeepMind, e o modelo de mundo da Waymo focado em estradas.
decoder