AI代理从照片构建3D场景，但不知道自己是否成功
decoder ·
马里兰大学与AWS的研究人员推出了LEGO-Anything系统，该系统利用编码代理通过迭代的“图像到代码”流程，从单张照片生成可编辑的3D Blender场景。为评估这些代理，研究团队创建了LEGO-Bench基准测试，该基准利用模拟器渲染的图像提供隐藏的真相数据，以便对有效性、几何结构和外观进行精确评分。尽管所有测试的GPT配置都能产生可用的场景产物，但几何准确性差异显著，最佳模型在室内场景上的得分仅为53.4%。一个关键发现是，这些代理缺乏可靠的自我评估能力，往往无法识别其自身修订是否降低了场景质量。为此，研究人员开发了LEGO-Plugin，用具体测量取代主观判断，并成功提升了所有模型的性能。尽管取得这些进展，与专用AI模型相比，重建的场景在目标检测和深度估计等下游视觉任务中目前仅能提供 modest（适度）的结果。该研究强调，虽然可执行的3D程序前景广阔，但在功能性输出与忠实几何重建之间仍存在显著差距。
decoder