Los agentes de IA construyen escenas 3D a partir de fotos pero no saben si lo han hecho bien
decoder ·
Investigadores de la Universidad de Maryland y AWS han presentado LEGO-Anything, un sistema que utiliza agentes de programación para generar escenas editables en Blender a partir de fotografías individuales mediante un proceso iterativo de 'Imagen a Código'. Para evaluar a estos agentes, el equipo creó LEGO-Bench, una prueba de referencia que emplea imágenes renderizadas por simuladores con una verdad fundamental oculta para puntuar con precisión la validez, la geometría y la apariencia. Aunque todas las configuraciones de GPT probadas produjeron artefactos de escena utilizables, la precisión geométrica varió significativamente, alcanzando solo el 53,4 % en escenas interiores con el mejor modelo. Un hallazgo crítico fue que los agentes carecen de capacidades confiables de autoevaluación, ya que a menudo no logran reconocer cuándo sus propias revisiones degradan la calidad de la escena. Como respuesta, los investigadores desarrollaron LEGO-Plugin, que sustituye el juicio subjetivo por mediciones concretas y mejoró con éxito el rendimiento de todos los modelos. A pesar de estos avances, las escenas reconstruidas ofrecen actualmente resultados modestos para tareas visuales posteriores, como la detección de objetos y la estimación de profundidad, en comparación con los modelos de IA especializados. El estudio destaca que, aunque los programas 3D ejecutables son prometedores, persisten importantes brechas entre las salidas funcionales y las reconstrucciones geométricas fieles.
decoder