Les chercheurs branchent GPT-6 Astra directement sur un robot pour lui faire nettoyer une cuisine inconnue
decoder ·
Des chercheurs de Stanford et du Caltech ont développé HomeBody, un système permettant à un robot humanoïde Unitree G1 de nettoyer de manière autonome une cuisine inconnue grâce au modèle de langage GPT-6 Astra. Cette approche supprime la couche de contrôle traditionnellement entraînée, permettant au modèle vision-langage d'accéder directement à une bibliothèque de compétences modulaires telles que la préhension et la navigation. Le robot explore d'abord l'environnement pour créer un jumeau numérique dans Nvidia Isaac Sim, enregistrant les objets et leur emplacement dans une mémoire spatiale afin de suivre les éléments même lorsqu'ils ne sont pas visibles. Lorsqu'il reçoit des commandes comme le nettoyage de la cuisine, le modèle de langage planifie chaque étape individuellement et corrige ses erreurs pendant l'exécution. Malgré ces avancées, le système présente des limites, notamment des problèmes de latence, une surchauffe des servomoteurs des doigts et des coûts de calcul élevés. Le projet met en évidence des améliorations significatives du raisonnement spatial des grands modèles de langage, tout en soulevant des préoccupations en matière de sécurité concernant le contrôle direct des robots. OpenAI avait précédemment annoncé son intention de revenir sur le marché de la robotique, avec un accent mis sur les applications personnelles.
decoder