I ricercatori collegano GPT-6 Astra direttamente a un robot per fargli pulire una cucina sconosciuta
decoder ·
I ricercatori di Stanford e Caltech hanno sviluppato HomeBody, un sistema che consente a un robot umanoide Unitree G1 di pulire autonomamente una cucina sconosciuta utilizzando il modello linguistico GPT-6 Astra. Questo approccio elimina il tradizionale strato di controllo addestrato, consentendo al modello visione-linguaggio di accedere direttamente a una libreria di competenze modulari come la presa e la navigazione. Il robot esplora inizialmente l'ambiente per creare un gemello digitale in Nvidia Isaac Sim, registrando oggetti e posizioni nella memoria spaziale per tenere traccia degli elementi anche quando non sono visibili. Quando riceve comandi come quello di pulire la cucina, il modello linguistico pianifica ogni singolo passo e corregge gli errori durante l'esecuzione. Nonostante questi progressi, il sistema presenta limitazioni tra cui problemi di latenza, surriscaldamento dei servomotori delle dita e elevati costi computazionali. Il progetto evidenzia significativi miglioramenti nel ragionamento spaziale dei grandi modelli linguistici, sollevando al contempo preoccupazioni sulla sicurezza relative al controllo diretto del robot. In precedenza, OpenAI aveva annunciato l'intenzione di rientrare nel mercato della robotica con un focus sulle applicazioni per uso personale.
decoder