Neuer Open-Source-Benchmark zeigt, dass Reasoning das größte Hindernis für KI in Cloud-Betrieb ist
decoder ·
Ein neuer Open-Source-Benchmark namens CloudOpsBench hat festgestellt, dass das Schlussfolgern (Reasoning) die Hauptbarriere für KI-Agenten bei der Ausführung von Cloud-Betriebstasks ist. Entwickelt von einem Team der University of Michigan, bewertet Version 1.0, wie gut Modelle typische DevOps-Aktivitäten wie das Beheben von Diensten und das Verwalten von Zugriffsrechten auf AWS bewältigen. Der Benchmark umfasst 45 reale Aufgaben, die sowohl in tatsächlichen als auch in emulierten Cloud-Umgebungen ausgeführt wurden. Trotz ihrer Fähigkeiten lösten führende Modelle wie Claude Fable 5.1 und GPT-6 Astra nur 60 % bzw. 53 % der Aufgaben. Die Forscher stellten fest, dass etwa 80 % der Fehler auf schlechtes Schlussfolgern zurückzuführen sind, wobei Agenten den Umfang der Aufgabe falsch einschätzen oder vorzeitig abbrechen. Nur etwa 20 % der Fehler betreffen falsche Aktionen, von denen einige irreversible Folgen für die Infrastruktur haben. Das Projekt ist unter einer Apache-2.0-Lizenz auf GitHub verfügbar; Erweiterungen für andere Cloud-Anbieter sind geplant.
decoder