Google DeepMind veröffentlicht Genie 4 Weltmodell mit Echtzeit-Bearbeitung und Audio
aiinsider ·
Google DeepMind hat Genie 4, sein neuestes Weltmodell, in einer Forschungs-Vorschauversion veröffentlicht. Dieses neue System generiert hochfotorealistische und interaktive simulierte Umgebungen, die es Nutzern ermöglichen, Szenen in Echtzeit über Texteingaben zu modifizieren. Nutzer können Wetterbedingungen ändern, Kamerawinkel anpassen oder Charaktere und Objekte einführen, während das Modell gleichzeitig passende Audiospuren, einschließlich Musik und Dialog, erzeugt. Die Simulation hält die Konsistenz der Szene bis zu zwei Minuten lang aufrecht, was doppelt so lange ist wie bei seinem Vorgänger Genie 3. Gemini fungiert als integrierter Regisseur, um Schritte zu planen und die Qualität der Frames zu überprüfen, wodurch die Kohärenz der Ausgabe verbessert wird. In Robotik-Experimenten ermöglichte diese Integration die Echtzeitsimulation von Aufgabenaufteilungen und bietet ein potenzielles Testfeld für den Einsatz von Robotern vor der physischen Implementierung. Obwohl frühe Tester den Wert für Filmprototypen schätzen, weisen Ingenieure darauf hin, dass Herausforderungen wie Objekt-Drift und Audio-Genauigkeit weiterhin Verbesserungspotenzial bieten.
aiinsider