Le modèle mondial Genie 4 de Google ajoute l'audio, des mondes plus réalistes et un pilotage en temps réel
techcrunch ·
Google DeepMind a publié Genie 4, son dernier modèle de monde, dans le cadre d'un aperçu de recherche qui introduit des environnements photoréalistes avec génération audio en temps réel et capacités de pilotage interactif. Contrairement à son prédécesseur, Genie 4 permet aux utilisateurs de modifier les scènes en cours de simulation à l'aide de prompts textuels pour changer la météo, les angles de caméra ou ajouter des objets, tout en maintenant la cohérence pendant jusqu'à deux minutes. Le modèle présente une physique améliorée et des personnages plus réalistes, ainsi qu'une intégration audio incluant de la musique, du bruit ambiant et des dialogues. Genie 4 est étroitement lié à l'IA Gemini de Google, qui agit comme un réalisateur pour planifier les étapes et vérifier les images, ouvrant la voie à des applications potentielles dans la simulation et les tests robotiques. Bien que les cas d'utilisation commerciaux incluent le jeu vidéo et l'éducation, les premiers retours soulignent le prototypage cinématographique comme une application prometteuse grâce à la capacité du modèle à maintenir le flux créatif. Malgré ces avancées, Google reconnaît des limites actuelles telles que la dérive des objets lors de simulations longues, ainsi que des défis liés à la précision audio et à la lisibilité du texte. Le modèle est actuellement disponible pour des testeurs de confiance avant d'être déployé auprès des abonnés à Google AI Ultra et des partenaires API dans les semaines à venir.
techcrunch