Runway will die KI-Videogenerierung in einen in Echtzeit steuerbaren Livestream verwandeln
decoder ·
Runway erforscht die Echtzeit-Videogenerierung, bei der Nutzer eine Szene beschreiben und ein gestreamtes Video steuern, anstatt auf einen fertigen Clip zu warten. Der Ansatz des Unternehmens erstellt jedes neue Segment anhand aller zuvor generierten Einzelbilder und soll die Zeit bis zum ersten Bild, Verzögerungen bei Überarbeitungen und GPU-Kosten reduzieren. Runway zufolge besteht eine zentrale Herausforderung in der Fehlerakkumulation. Daher trainiert das Unternehmen Modelle mit ihren eigenen fehlerhaften Ausgaben, damit sie Abweichungen korrigieren können. Runway sieht Anwendungsmöglichkeiten in der Bildung, bei Spielen, in der Robotik und bei der Erprobung autonomer Fahrzeuge, wo generierte Umgebungen sofort reagieren müssen. Die Arbeit steht im Zusammenhang mit Runways GWM-1, Runway Characters, Solaris und GWM Robotics sowie einer Zusammenarbeit mit Nvidia, die auf ein erstes Bild innerhalb von weniger als 100 Millisekunden auf Vera-Rubin-Hardware abzielt. Runway hat nicht angekündigt, wann sein Echtzeitsystem verfügbar sein wird. Zu den verwandten Bemühungen gehören Decarts MirageLSD, Googles Genie 3 und Waymos auf Straßen fokussiertes Weltmodell.
decoder