Омни-модель Reka AI Rho-1 обрабатывает текст, изображения, видео и управление роботами в одной модели
decoder ·
Reka AI выпустила исследовательский превью-версию Rho-1 — омни-модели с 19 миллиардами параметров, способной обрабатывать и генерировать текст, изображения, видео и действия для управления роботами в рамках одной нейронной сети. В отличие от традиционных систем, использующих специализированные модели или внешние вызовы инструментов, Rho-1 обрабатывает все модальности как токены в едином общем окне контекста. Модель способна генерировать непрерывное видео в реальном времени и адаптироваться к новым инструкциям без необходимости перезапуска. Чтобы решить проблему нехватки данных для обучения роботов, Reka AI разработала модель обратной динамики, извлекающую управляющие сигналы из стандартных видеозаписей в интернете. Те же веса, которые используются для предсказания изображений с камеры, применяются и для управления движениями робота. Обучение потребовало 320 графических процессоров H100 в течение примерно трех месяцев. Этот релиз следует за предыдущим запуском Reka Core в апреле 2024 года, который конкурировал с крупными мультимодальными языковыми моделями. Разработка соответствует более широкой отраслевой тенденции к созданию комплексных моделей мира.
decoder