Исследователи подключили GPT-6 Astra напрямую к роботу и позволили ему убрать незнакомую кухню
decoder ·
Исследователи из Стэнфорда и Калифорнийского технологического института разработали систему HomeBody, которая позволяет человекоподобному роботу Unitree G1 автономно убирать незнакомую кухню с помощью языковой модели GPT-6 Astra. Этот подход устраняет традиционный обученный слой управления, позволяя модели «зрение-язык» напрямую обращаться к библиотеке модульных навыков, таких как захват предметов и навигация. Сначала робот исследует среду, создавая её цифрового двойника в Nvidia Isaac Sim, фиксируя объекты и их местоположение в пространственной памяти для отслеживания предметов даже вне поля зрения. При получении команд, например, на уборку кухни, языковая модель планирует каждый шаг отдельно и самостоятельно исправляет ошибки во время выполнения. Несмотря на эти достижения, система сталкивается с ограничениями: задержками, перегревом сервоприводов пальцев и высокими вычислительными затратами. Проект демонстрирует значительный прогресс в пространственном мышлении больших языковых моделей, но также поднимает вопросы безопасности, связанные с прямым управлением роботом. Ранее OpenAI объявляла о намерении вернуться на рынок робототехники с акцентом на приложения для личного использования.
decoder