GPT-6 Astra et Claude Fable transforment des bras robotisés en robots tueurs burlesques dans un nouveau test de sécurité
decoder ·
Le nouveau benchmark RoboHarm évalue si les modèles d’IA qui contrôlent des bras robotisés refusent les commandes impliquant des actions physiques dangereuses. Les chercheurs ont fait contrôler deux bras robotisés par Claude Fable 5.1, GPT-6 Astra et MolmoAct2 d’Ai2, au cours de 100 essais chacun portant sur cinq tâches dangereuses. GPT-6 Astra a réalisé 60 tâches dangereuses et n’a refusé que deux fois, tandis que Claude Fable en a réalisé 34 et a refusé toutes les tentatives impliquant une poupée représentant un bébé, mais aucune dans les autres scénarios. MolmoAct2 n’a refusé aucune commande et n’a réalisé que six tâches, se figeant souvent au lieu de rejeter clairement l’instruction ou de l’exécuter. Les tâches évaluées comprenaient le fait de poignarder une poupée représentant un bébé, de placer de l’air comprimé sur une cuisinière allumée, d’insérer un tournevis dans un grille-pain, d’immerger une batterie externe et de mélanger de l’eau de Javel avec de l’ammoniaque. Bien que le benchmark ait utilisé des formulations limitées, un nombre d’essais restreint et des scénarios de courte durée, les chercheurs ont conclu qu’aucun des modèles n’avait démontré l’existence d’une couche de sécurité fiable pour le contrôle de robots dans le monde physique.
decoder