Runway vuole trasformare la generazione di video con l’IA in un live streaming controllabile in tempo reale
decoder ·
Runway sta studiando la generazione video in tempo reale, in cui gli utenti descrivono una scena e guidano un video trasmesso in streaming invece di aspettare una clip finita. Il suo approccio costruisce ogni nuovo segmento a partire da tutti i fotogrammi generati in precedenza e mira a ridurre il tempo necessario per ottenere il primo fotogramma, i ritardi nelle revisioni e i costi delle GPU. Runway afferma che una difficoltà fondamentale è l’accumulo degli errori, quindi addestra i modelli sui propri output imperfetti per aiutarli a correggere le deviazioni. L’azienda vede applicazioni nell’istruzione, nei videogiochi, nella robotica e nei test dei veicoli autonomi, dove gli ambienti generati devono reagire immediatamente. Questo lavoro si collega a GWM-1, Runway Characters, Solaris, GWM Robotics e a una collaborazione con Nvidia volta a ottenere un primo fotogramma in meno di 100 millisecondi sull’hardware Vera Rubin. Runway non ha annunciato quando il suo sistema in tempo reale sarà disponibile; tra gli sforzi correlati figurano MirageLSD di Decart, Genie 3 di Google DeepMind e il modello del mondo di Waymo incentrato sulle strade.
decoder