El modelo ómnimo de Reka AI, Rho-1, maneja texto, imágenes, video y control de robots en un solo modelo
decoder ·
Reka AI ha lanzado una vista previa de investigación de Rho-1, un modelo ómnimo de 19 mil millones de parámetros capaz de procesar y generar texto, imágenes, video y acciones de control de robots dentro de una única red neuronal. A diferencia de los sistemas tradicionales que dependen de modelos especializados o llamadas a herramientas externas, Rho-1 maneja todas las modalidades como tokens en una ventana de contexto compartida. El modelo puede generar video continuo en tiempo real y adaptarse a nuevas instrucciones sin necesidad de reiniciarse. Para abordar la escasez de datos de entrenamiento para robots, Reka AI desarrolló un modelo de dinámica inversa que extrae señales de control a partir de videos estándar de internet. Los mismos pesos utilizados para predecir imágenes de cámara también se emplean para impulsar movimientos robóticos. El entrenamiento requirió 320 GPUs H100 durante un período de aproximadamente tres meses. Este lanzamiento sigue al lanzamiento anterior de Reka AI, Reka Core, en abril de 2024, que compitió con importantes modelos de lenguaje multimodales. El desarrollo se alinea con la tendencia más amplia de la industria hacia la creación de modelos mundiales integrales.
decoder