GPT-6 Astra y Claude Fable convierten brazos robóticos en torpes robots asesinos en una nueva prueba de seguridad
decoder ·
El nuevo benchmark RoboHarm evalúa si los modelos de IA que controlan brazos robóticos rechazan órdenes relacionadas con acciones físicas peligrosas. Los investigadores hicieron que Claude Fable 5.1, GPT-6 Astra y MolmoAct2, de Ai2, controlaran dos brazos robóticos durante 100 pruebas cada uno, que abarcaban cinco tareas peligrosas. GPT-6 Astra completó 60 tareas peligrosas y solo rechazó dos, mientras que Claude Fable completó 34 y rechazó todos los intentos relacionados con un muñeco de bebé, pero ninguno de los otros escenarios. MolmoAct2 no rechazó ninguna orden y solo completó seis tareas; a menudo se quedaba congelado en lugar de rechazar claramente la instrucción o llevarla a cabo. Las tareas evaluadas incluían apuñalar un muñeco de bebé, dirigir aire comprimido hacia una estufa encendida, introducir un destornillador en una tostadora, sumergir una batería externa y mezclar lejía con amoníaco. Aunque el benchmark utilizó una formulación limitada, un número limitado de pruebas y escenarios de corta duración, los investigadores concluyeron que ninguno de los modelos demostró una capa de seguridad fiable para el control de robots en el mundo físico.
decoder