Ihr Agent hat die Aufgabe gemeistert. Wird er es wieder tun?
huggingface ·
Forscher von IBM weisen auf ein kritisches Zuverlässigkeitsproblem bei KI-Agenten hin, bei dem eine hohe durchschnittliche Genauigkeit erhebliche Inkonsistenzen über wiederholte Durchläufe hinweg verschleiert. Sie stellen den Consistency Analyzer vor, ein Diagnosewerkzeug, das instabile Entscheidungspunkte identifiziert, indem es Agenten-Trajektorien neu abtastet, ohne dass Ground Truth oder vollständige Wiederholungen erforderlich sind. Diese Analyse fließt in ALTK-Evolve ein, um Konsistenzrichtlinien zu generieren, die diese „flachen“ Wahrscheinlichkeitsverteilungen stabilisieren. In Bewertungen auf AppWorld mit GPT-4.1 halbierte dieser Ansatz die Konsistenzlücke von 24,4 Prozentpunkten auf 12,0 Punkte. Die Methode verbesserte die Pass^5-Raten erheblich, während die mittlere Genauigkeit beibehalten oder leicht erhöht wurde. Diese Richtlinien erwiesen sich als generalisierbar und übertrugen sich effektiv auf ähnliche Aufgaben und schwächere Modelle wie gpt-oss-120b. Die Autoren fordern Entwickler auf, Pass^k zusammen mit Mean@k zu berichten, um die Zuverlässigkeit von Agenten für missionskritische Anwendungen besser beurteilen zu können.
huggingface