Reka AI的全能模型Rho-1在单一模型中处理文本、图像、视频和机器人控制
decoder ·
Reka AI 发布了 Rho-1 的研究预览版,这是一个拥有 190 亿参数的全能模型,能够在单一神经网络中处理和生成文本、图像、视频以及机器人控制动作。与传统依赖专用模型或外部工具调用的系统不同,Rho-1 将所有模态作为标记处理在一个共享的上下文窗口中。该模型能够实时生成连续视频,并适应新指令而无需重新启动。为解决机器人训练数据稀缺的问题,Reka AI 开发了一种逆动力学模型,从标准互联网视频中提取控制信号。用于预测相机图像的相同权重也被用于驱动机器人运动。训练过程使用了 320 块 H100 GPU,耗时约三个月。此次发布紧随 Reka AI 于 2024 年 4 月推出的 Reka Core,后者曾与主要多模态语言模型展开竞争。这一发展与行业创建综合性世界模型的更广泛趋势相一致。
decoder