KI-Agenten erstellen 3D-Szenen aus Fotos, wissen aber nicht, ob sie es richtig gemacht haben
decoder ·
Forscher der University of Maryland und von AWS haben LEGO-Anything vorgestellt, ein System, das Coding-Agents nutzt, um aus einzelnen Fotos durch einen iterativen „Image-to-Code“-Prozess editierbare 3D-Blender-Szenen zu generieren. Zur Bewertung dieser Agents entwickelte das Team LEGO-Bench, einen Benchmark, der simulatorgerenderte Bilder mit verborgener Ground Truth verwendet, um die Gültigkeit, Geometrie und Erscheinungsbild präzise zu bewerten. Obwohl alle getesteten GPT-Konfigurationen verwertbare Szenenartefakte erzeugten, variierte die geometrische Genauigkeit erheblich; das beste Modell erreichte bei Innenszenen lediglich 53,4 %. Ein entscheidender Befund war, dass den Agents zuverlässige Selbstbewertungsfähigkeiten fehlen und sie oft nicht erkennen, wenn ihre eigenen Überarbeitungen die Qualität der Szene verschlechtern. Als Reaktion darauf entwickelten die Forscher LEGO-Plugin, das subjektive Urteile durch konkrete Messwerte ersetzt und die Leistung aller Modelle erfolgreich verbesserte. Trotz dieser Fortschritte bieten die rekonstruierten Szenen derzeit nur moderate Ergebnisse für nachgelagerte Vision-Aufgaben wie Objekterkennung und Tiefenschätzung im Vergleich zu spezialisierten KI-Modellen. Die Studie zeigt auf, dass zwar ausführbare 3D-Programme vielversprechend sind, zwischen funktionalen Ausgaben und treuen geometrischen Rekonstruktionen jedoch erhebliche Lücken bestehen.
decoder