Runway veut transformer la génération de vidéos par IA en un flux en direct pilotable en temps réel
decoder ·
Runway mène des recherches sur la génération vidéo en temps réel, dans laquelle les utilisateurs décrivent une scène et pilotent une vidéo diffusée en continu au lieu d’attendre un clip terminé. Son approche construit chaque nouveau segment à partir de toutes les images précédemment générées et vise à réduire le délai avant la première image, les délais de révision et les coûts en GPU. Runway indique qu’un défi majeur est l’accumulation des erreurs ; l’entreprise entraîne donc les modèles sur leurs propres sorties imparfaites afin de les aider à corriger les écarts. La société voit des applications dans l’éducation, les jeux vidéo, la robotique et les tests de véhicules autonomes, où les environnements générés doivent réagir immédiatement. Ces travaux sont liés à GWM-1, Runway Characters, Solaris et GWM Robotics de Runway, ainsi qu’à une collaboration avec Nvidia visant à obtenir une première image en moins de 100 millisecondes sur du matériel Vera Rubin. Runway n’a pas annoncé quand son système en temps réel sera disponible, tandis que des travaux apparentés comprennent MirageLSD de Decart, Genie 3 de Google DeepMind et le modèle du monde de Waymo axé sur la route.
decoder