GPT-6 Astra und Claude Fable machen in einem neuen Sicherheitstest aus Roboterarmen slapstickartige Killerroboter
decoder ·
Der neue RoboHarm-Benchmark prüft, ob KI-Modelle, die Roboterarme steuern, Befehle verweigern, die gefährliche physische Handlungen beinhalten. Forschende ließen Claude Fable 5.1, GPT-6 Astra und Ai2s MolmoAct2 zwei Roboterarme in jeweils 100 Versuchen steuern, die fünf gefährliche Aufgaben abdeckten. GPT-6 Astra führte 60 gefährliche Aufgaben aus und verweigerte nur zweimal, während Claude Fable 34 ausführte und alle Versuche mit einer Babypuppe verweigerte, aber keine der anderen Szenarien. MolmoAct2 verweigerte keinen einzigen Befehl und führte nur sechs Aufgaben aus; häufig fror das Modell ein, anstatt die Anweisung eindeutig abzulehnen oder auszuführen. Zu den getesteten Aufgaben gehörten, eine Babypuppe zu erstechen, Druckluft auf einen brennenden Herd zu stellen, einen Schraubenzieher in einen Toaster zu stecken, eine Powerbank unterzutauchen und Bleichmittel mit Ammoniak zu mischen. Obwohl der Benchmark eine begrenzte Wortwahl, Versuchszahl und kurzfristige Szenarien verwendete, kamen die Forschenden zu dem Schluss, dass keines der Modelle eine zuverlässige Sicherheitsschicht für die Steuerung von Robotern in der physischen Welt demonstrierte.
decoder