Google DeepMind lancia il modello mondo Genie 4 con editing in tempo reale e audio
aiinsider ·
Google DeepMind ha rilasciato Genie 4, il suo più recente modello di mondo, in una fase di anteprima della ricerca. Questo nuovo sistema genera ambienti simulati altamente fotorealistici e interattivi che permettono agli utenti di modificare le scene in tempo reale utilizzando prompt testuali. Gli utenti possono alterare le condizioni meteorologiche, regolare gli angoli di ripresa o introdurre personaggi e oggetti mentre il modello produce simultaneamente audio corrispondente, inclusa musica e dialoghi. La simulazione mantiene la coerenza della scena per fino a due minuti, il doppio della durata del suo predecessore, Genie 3. Gemini agisce come un regista integrato per pianificare i passaggi e verificare la qualità dei frame, migliorando la coerenza dell'output. Negli esperimenti di robotica, questa integrazione ha permesso la simulazione in tempo reale della scomposizione dei compiti, offrendo un potenziale banco di prova per il dispiegamento dei robot prima dell'implementazione fisica. Sebbene i primi tester trovino valore nel prototipaggio cinematografico, gli ingegneri notano che sfide come la deriva degli oggetti e l'accuratezza dell'audio rimangono aree da migliorare.
aiinsider