Il modello omni di Reka AI Rho-1 gestisce testo, immagini, video e controllo robotico in un'unica rete
decoder ·
Reka AI ha rilasciato una versione di ricerca preliminare di Rho-1, un modello onnicomprensivo da 19 miliardi di parametri in grado di elaborare e generare testo, immagini, video e azioni di controllo robotico all'interno di un'unica rete neurale. A differenza dei sistemi tradizionali che si affidano a modelli specializzati o a chiamate a strumenti esterni, Rho-1 gestisce tutte le modalità come token in una singola finestra di contesto condivisa. Il modello può generare video continui in tempo reale e adattarsi a nuove istruzioni senza necessità di riavvio. Per affrontare la scarsità di dati di addestramento per i robot, Reka AI ha sviluppato un modello di dinamica inversa che estrae segnali di controllo da video standard presenti su Internet. Gli stessi pesi utilizzati per prevedere le immagini della telecamera sono impiegati anche per guidare i movimenti robotici. L'addestramento ha richiesto 320 GPU H100 per un periodo di circa tre mesi. Questo rilascio segue il lancio precedente di Reka Core da parte di Reka AI nell'aprile 2024, che ha competuto con i principali modelli linguistici multimodali. Lo sviluppo si allinea alla più ampia tendenza del settore verso la creazione di modelli del mondo completi.
decoder