Gli agenti IA costruiscono scene 3D dalle foto ma non sanno se hanno ragione
decoder ·
I ricercatori dell'Università del Maryland e di AWS hanno presentato LEGO-Anything, un sistema che utilizza agenti di programmazione per generare scene 3D modificabili in Blender a partire da singole foto attraverso un processo iterativo 'Image-to-Code'. Per valutare questi agenti, il team ha creato LEGO-Bench, un benchmark che utilizza immagini renderizzate da simulatori e fornisce una verità fondamentale nascosta per una valutazione precisa di validità, geometria e aspetto. Sebbene tutte le configurazioni GPT testate abbiano prodotto artefatti di scena utilizzabili, l'accuratezza geometrica è variata significativamente, con il modello migliore che ha ottenuto solo il 53,4% nelle scene interne. Una scoperta critica è stata che gli agenti mancano di capacità affidabili di autovalutazione, spesso non riuscendo a riconoscere quando le proprie revisioni degradavano la qualità della scena. In risposta, i ricercatori hanno sviluppato LEGO-Plugin, che sostituisce il giudizio soggettivo con misurazioni concrete e ha migliorato con successo le prestazioni di tutti i modelli. Nonostante questi progressi, le scene ricostruite offrono attualmente risultati solo modesti per compiti di visione a valle come il rilevamento di oggetti e la stima della profondità, rispetto ai modelli AI specializzati. Lo studio evidenzia che, sebbene i programmi 3D eseguibili siano promettenti, rimangono divari significativi tra gli output funzionali e le ricostruzioni geometriche fedeli.
decoder