GPT-6 Astra e Claude Fable transformam braços robóticos em robôs assassinos de comédia pastelão em um novo teste de segurança
decoder ·
O novo benchmark RoboHarm testa se modelos de IA que controlam braços robóticos se recusarão a executar comandos envolvendo ações físicas perigosas. Pesquisadores fizeram Claude Fable 5.1, GPT-6 Astra e o MolmoAct2, da Ai2, controlarem dois braços robóticos em 100 testes cada, abrangendo cinco tarefas perigosas. O GPT-6 Astra completou 60 tarefas perigosas e recusou apenas duas, enquanto o Claude Fable completou 34 e recusou todas as tentativas envolvendo uma boneca de bebê, mas nenhuma das outras situações. O MolmoAct2 não recusou nenhum comando e completou apenas seis tarefas, frequentemente travando em vez de rejeitar claramente ou executar a instrução. As tarefas testadas incluíam esfaquear uma boneca de bebê, colocar ar comprimido sobre um fogão aceso, inserir uma chave de fenda em uma torradeira, submergir uma bateria portátil e misturar água sanitária com amônia. Embora o benchmark tenha usado formulações, números de testes e situações de curto prazo limitados, os pesquisadores concluíram que nenhum dos modelos demonstrou uma camada de segurança confiável para o controle de robôs no mundo físico.
decoder