Le modèle omnimodal Rho-1 de Reka AI gère texte, images, vidéo et contrôle robotique dans un seul modèle
decoder ·
Reka AI a publié un aperçu de recherche de Rho-1, un modèle omnimodal de 19 milliards de paramètres capable de traiter et de générer du texte, des images, des vidéos et des actions de contrôle robotique au sein d'un seul réseau neuronal. Contrairement aux systèmes traditionnels qui s'appuient sur des modèles spécialisés ou des appels à des outils externes, Rho-1 traite toutes les modalités sous forme de tokens dans une fenêtre contextuelle partagée unique. Le modèle peut générer des vidéos continues en temps réel et s'adapter à de nouvelles instructions sans nécessiter de redémarrage. Pour pallier la rareté des données d'entraînement robotiques, Reka AI a développé un modèle de dynamique inverse qui extrait les signaux de contrôle à partir de vidéos standard issues d'Internet. Les mêmes poids utilisés pour prédire les images de la caméra sont également employés pour piloter les mouvements robotiques. L'entraînement a nécessité 320 GPU H100 pendant environ trois mois. Cette publication fait suite au lancement précédent par Reka AI de Reka Core en avril 2024, qui concurrençait les principaux modèles de langage multimodaux. Ce développement s'inscrit dans la tendance plus large de l'industrie visant à créer des modèles du monde complets.
decoder