Der Agent sagte, es sei erledigt. Die Datenbank widersprach.
huggingface ·
Microsoft und Hugging Face haben ThinkingBox veröffentlicht, einen neuen Benchmark zur Bewertung von KI-Agenten anhand ihrer tatsächlichen Auswirkungen auf den Zustand von Backend-Datenbanken, anstatt sich nur auf generierten Text oder Tool-Aufrufe zu stützen. Die Studie analysierte 507 zustandsbehaftete Geschäftsworkflows über 18 LLM-Modelle hinweg und führte jede Aufgabe 20 Mal aus, um sowohl die Zuverlässigkeit als auch die Fähigkeiten zu messen. Die Ergebnisse zeigten, dass Modelle wie Kimi-K3 zwar viele Aufgaben mindestens einmal lösen konnten, dies jedoch oft nicht zuverlässig bei nachfolgenden Versuchen taten. Im Gegensatz dazu demonstrierten Modelle wie Claude Opus 5.5 eine höhere Verlässlichkeit, indem sie einen erheblichen Teil der Aufgaben in allen 20 Durchläufen bestanden. Die Forschung hebt eine kritische Lücke hervor: Agenten erscheinen erfolgreich durch gültige Tool-Nutzung, hinterlassen jedoch falsche Endzustände, wie etwa das vorzeitige Schließen von Tickets. Um dem entgegenzuwirken, führten die Autoren Metriken für die Kosten pro zuverlässiger Aufgabe ein, die zeigen, dass konsistente Genauigkeit einen höheren finanziellen Aufwand erfordert als lediglich das Erzielen eines einzelnen korrekten Ergebnisses. Der Benchmark ist nun über OpenEnv verfügbar, sodass Entwickler die Zuverlässigkeit von Agenten gegen isolierte Sitzungen mit ausführbaren Prüfungen von Nebenwirkungen testen können.
huggingface