KI-Agenten haben einen schlechten Geschmack bei langfristigen Entscheidungen und ein neuer Benchmark beweist es
decoder ·
Forscher der Microsoft Corporation und der City University of Hong Kong haben Taste-Bench eingeführt, einen neuen Benchmark zur Bewertung, wie gut KI-Agenten langfristige Entscheidungen bei komplexen, mehrstufigen Aufgaben treffen. Im Gegensatz zu Standardbenchmarks, die lediglich die abschließende Aufgabenerledigung messen, bewertet dieses Tool den „Geschmack“ eines Agents, indem es dessen Fähigkeit analysiert, an entscheidenden Wegscheidungen innerhalb einer Handlungskette den vielversprechendsten Pfad zu wählen. Die Studie testete 14 führende Modelle, darunter GPT-5.6 Sol und GPT-5.5, und ergab, dass selbst die besten Leistungen bei diesen binären Entscheidungen kaum 60 Prozent Genauigkeit überschritten. Die Leistung sank erheblich, wenn die Hinweise zugunsten eines bestimmten Pfades erst nach umfangreicher später Arbeit sichtbar wurden, was darauf hindeutet, dass aktuelle Modelle Schwierigkeiten haben, zukünftige Ergebnisse effektiv vorherzusagen. Eine Erhöhung der Rechenzeit oder des Rechenaufwands verbesserte die Ergebnisse nicht, was nahelegt, dass die notwendigen Hinweise oft im unmittelbaren Kontext fehlen. Die Forscher demonstrierten jedoch, dass diese Urteilsfähigkeit trainiert werden kann, indem Erkenntnisse aus einem Lehrermodell auf ein Schülermodell übertragen werden, was die Erfolgsquoten bei unausgewählten Coding-Aufgaben erhöhte. Dieses Ergebnis unterstreicht eine erhebliche Lücke in den aktuellen KI-Fähigkeiten hinsichtlich der Langzeitplanung und bietet einen Ansatz für Verbesserungen durch gezieltes Training.
decoder