Komplexe Harnesses machen Coding-Agenten teurer, aber nicht besser
decoder ·
Eine aktuelle Studie von Forschern der Shandong University hinterfragt die Effektivität komplexer Coding-Agent-Harnesses und stellt fest, dass diese die Kosten erhöhen, ohne die Leistung zu verbessern. Die mit dem Titel „What does a harness buy? Mostly tokens“ veröffentlichte Arbeit zeigt, dass das Wechseln zwischen großen Frameworks wie Claude Code und mini-SWE-agent zu statistisch gleichwertigen Ergebnissen führt wie das einfache erneute Ausführen desselben Setups. Obwohl einige Anbieter erhebliche Punktgewinne behaupten, liegen diese Unterschiede oft innerhalb des natürlichen Rauschens von Benchmark-Tests. Der Haupteffekt aufwendiger Harnesses besteht in einem erheblichen Anstieg des Token-Verbrauchs, der größtenteils durch umfangreiche Systemprompts und Tool-Beschreibungen verursacht wird und nicht durch eine bessere Aufgabenerledigung. Nur ein Harness, OpenCode, wies einen messbaren Leistungsdefizit auf, der teilweise auf Ausgabe Limits und Konfigurationsprobleme zurückgeführt wurde. Die Studie hebt hervor, dass die Wahl des Modells einen weitaus größeren Einfluss auf die Ergebnisse hat als die spezifisch verwendete Harness. Folglich argumentieren die Autoren, dass aktuelle Leaderboards aufgrund unkontrollierter Variablen und fehlender Wiederholungsversuche irreführend sein könnten. Sie empfehlen, Wiederholungen zusammen mit Vergleichen zu veröffentlichen, um echte Verbesserungen von zufälligen Schwankungen zu unterscheiden.
decoder