Reka AIs Omni-Modell Rho-1 verarbeitet Text, Bilder, Video und Robotersteuerung in einem einzigen Modell
decoder ·
Reka AI hat eine Forschungsvorschau von Rho-1 veröffentlicht, einem Omni-Modell mit 19 Milliarden Parametern, das Text, Bilder, Videos und Robotersteuerungsaktionen innerhalb eines einzigen neuronalen Netzwerks verarbeiten und generieren kann. Im Gegensatz zu herkömmlichen Systemen, die auf spezialisierte Modelle oder externe Tool-Aufrufe angewiesen sind, behandelt Rho-1 alle Modalitäten als Tokens in einem gemeinsamen Kontextfenster. Das Modell kann kontinuierliche Videos in Echtzeit generieren und sich an neue Anweisungen anpassen, ohne neu gestartet werden zu müssen. Um den Mangel an Trainingsdaten für Roboter zu adressieren, entwickelte Reka AI ein inverses Dynamikmodell, das Steuersignale aus Standard-Internetvideos extrahiert. Die gleichen Gewichte, die zur Vorhersage von Kamerabildern verwendet werden, dienen auch zur Steuerung roboterischer Bewegungen. Das Training erforderte 320 H100-GPUs über einen Zeitraum von etwa drei Monaten. Diese Veröffentlichung folgt auf Reka AIs vorherigen Launch von Reka Core im April 2024, der mit großen multimodalen Sprachmodellen konkurrierte. Die Entwicklung entspricht dem breiteren Branchentrend hin zur Schaffung umfassender Weltmodelle.
decoder