Dasselbe Modell, anderes Harness: CUGA, Hermes und Deep Agents — Wann CUGA wählen?
huggingface ·
IBM Research führte ein kontrolliertes Experiment durch, das drei Agent-Harnesses – CUGA, Hermes und Deep Agents – unter Verwendung desselben GLM-5.3-flash-Modells an 90 AppWorld-Aufgaben verglich. Die Studie ergab, dass der Wechsel des Harnesses die Leistung erheblich beeinflusste, wobei die Abschlussquoten zwischen 30 % für Deep Agents und 81 % für CUGA variierten. Während Hermes und Deep Agents jeweils in den Bereichen persönliche Assistenz bzw. langfristige mehrstufige Forschung herausragen, ist CUGA speziell für Unternehmensumgebungen konzipiert, die eine strenge Regelbefolgung erfordern. CUGA erreicht eine höhere Konsistenz durch die Integration von Funktionen wie Aufgabendekomposition, Code-Ausführungssandboxes und vorläufiger Verifikation. Entscheidend ist, dass es Geschäftsregeln aus System-Prompts in zur Laufzeit durchgesetzte Richtlinien verschiebt, was die Compliance unabhängig von den Entscheidungen des Modells sicherstellt. Dieser Ansatz ermöglicht einen sicheren Einsatz innerhalb souveräner Clouds oder luftgetrennter Netzwerke bei gleichzeitiger Wahrung messbarer Kostenkontrollen. Der Artikel schlussfolgert, dass die Wahl des richtigen Harnesses vom spezifischen Arbeitslastprofil abhängt und empfiehlt CUGA für komplexe, regelgebundene Unternehmensautomatisierung.
huggingface