Agentes de IA constroem cenas 3D a partir de fotos, mas não sabem se acertaram
decoder ·
Pesquisadores da Universidade de Maryland e da AWS apresentaram o LEGO-Anything, um sistema que utiliza agentes de codificação para gerar cenas editáveis do Blender em 3D a partir de fotos únicas por meio de um processo iterativo de 'Imagem para Código'. Para avaliar esses agentes, a equipe criou o LEGO-Bench, uma benchmark que utiliza imagens renderizadas por simulador, fornecendo uma verdade fundamental oculta para pontuação precisa de validade, geometria e aparência. Embora todas as configurações de GPT testadas tenham produzido artefatos de cena utilizáveis, a precisão geométrica variou significativamente, com o melhor modelo alcançando apenas 53,4% em cenas internas. Uma descoberta crítica foi que os agentes carecem de capacidades confiáveis de autoavaliação, frequentemente falhando em reconhecer quando suas próprias revisões degradavam a qualidade da cena. Em resposta, os pesquisadores desenvolveram o LEGO-Plugin, que substitui o julgamento subjetivo por medições concretas e melhorou com sucesso o desempenho em todos os modelos. Apesar desses avanços, as cenas reconstruídas atualmente oferecem resultados modestos para tarefas de visão downstream, como detecção de objetos e estimativa de profundidade, em comparação com modelos de IA especializados. O estudo destaca que, embora programas 3D executáveis sejam promissores, ainda existem lacunas significativas entre saídas funcionais e reconstruções geométricas fiéis.
decoder