Агент ИИ создают 3D-сцены из фотографий, но не знают, правильно ли они это сделали
decoder ·
Исследователи из Университета Мэриленда и AWS представили систему LEGO-Anything, которая использует кодовых агентов для генерации редактируемых 3D-сцен Blender из одиночных фотографий с помощью итеративного процесса «Image-to-Code». Для оценки этих агентов команда создала LEGO-Bench — бенчмарк, использующий рендеринг симулятора изображениями, которые предоставляют скрытую истинную информацию для точной оценки валидности, геометрии и внешнего вида. Хотя все протестированные конфигурации GPT создавали пригодные для использования артефакты сцен, геометрическая точность значительно варьировалась: лучшая модель достигла лишь 53,4% на внутренних сценах. Ключевым выводом стало то, что агенты не обладают надежными способностями к самооценке, часто не распознавая, когда их собственные исправления ухудшают качество сцены. В ответ на это исследователи разработали LEGO-Plugin, который заменяет субъективные суждения конкретными измерениями и успешно улучшил производительность всех моделей. Несмотря на эти достижения, реконструированные сцены пока дают лишь умеренные результаты для последующих задач компьютерного зрения, таких как обнаружение объектов и оценка глубины, по сравнению со специализированными моделями ИИ. Исследование подчеркивает, что, хотя исполняемые 3D-программы являются перспективными, между функциональными выводами и достоверными геометрическими реконструкциями остаются значительные пробелы.
decoder