Google DeepMind lance le modèle monde Genie 4 avec édition en temps réel et audio
aiinsider ·
Google DeepMind a publié Genie 4, son dernier modèle de monde, dans le cadre d'une phase de recherche préliminaire. Ce nouveau système génère des environnements simulés hautement photoréalistes et interactifs, permettant aux utilisateurs de modifier les scènes en temps réel à l'aide d'invites textuelles. Les utilisateurs peuvent changer les conditions météorologiques, ajuster les angles de caméra ou introduire des personnages et des objets, tandis que le modèle produit simultanément un audio correspondant, incluant musique et dialogues. La simulation maintient la cohérence de la scène pendant jusqu'à deux minutes, soit le double de la durée de son prédécesseur, Genie 3. Gemini agit comme un réalisateur intégré pour planifier les étapes et vérifier la qualité des images, améliorant ainsi la cohérence du résultat. Lors d'expériences en robotique, cette intégration a permis une simulation en temps réel de la décomposition des tâches, offrant un terrain d'essai potentiel pour le déploiement de robots avant leur mise en œuvre physique. Bien que les premiers testeurs trouvent de la valeur dans le prototypage cinématographique, les ingénieurs notent que des défis tels que la dérive des objets et la précision de l'audio restent des domaines à améliorer.
aiinsider