Les agents IA créent des scènes 3D à partir de photos mais ignorent s'ils ont réussi
decoder ·
Des chercheurs de l'Université du Maryland et d'AWS ont présenté LEGO-Anything, un système utilisant des agents de codage pour générer des scènes Blender 3D modifiables à partir de photos uniques via un processus itératif « Image-to-Code ». Pour évaluer ces agents, l'équipe a créé LEGO-Bench, un benchmark utilisant des images rendues par simulateur qui fournissent une vérité terrain cachée pour une évaluation précise de la validité, de la géométrie et de l'apparence. Bien que toutes les configurations GPT testées aient produit des artefacts de scène utilisables, la précision géométrique variait considérablement, le meilleur modèle n'atteignant que 53,4 % sur les scènes intérieures. Une découverte critique est que les agents manquent de capacités fiables d'auto-évaluation, échouant souvent à reconnaître lorsque leurs propres révisions détériorent la qualité de la scène. En réponse, les chercheurs ont développé LEGO-Plugin, qui remplace le jugement subjectif par des mesures concrètes et a réussi à améliorer les performances de tous les modèles. Malgré ces avancées, les scènes reconstruites offrent actuellement des résultats modestes pour les tâches de vision en aval, telles que la détection d'objets et l'estimation de la profondeur, par rapport aux modèles d'IA spécialisés. L'étude souligne que bien que les programmes 3D exécutables soient prometteurs, des écarts importants subsistent entre les sorties fonctionnelles et les reconstructions géométriques fidèles.
decoder