GPT-6 Astra e Claude Fable trasformano i bracci robotici in robot assassini da farsa in un nuovo test di sicurezza
decoder ·
Il nuovo benchmark RoboHarm verifica se i modelli di IA che controllano bracci robotici rifiutano i comandi che implicano azioni fisiche pericolose. I ricercatori hanno fatto controllare a Claude Fable 5.1, GPT-6 Astra e MolmoAct2 di Ai2 due bracci robotici, con 100 prove ciascuno, riguardanti cinque compiti pericolosi. GPT-6 Astra ha completato 60 compiti pericolosi e ha rifiutato i comandi solo due volte, mentre Claude Fable ne ha completati 34 e ha rifiutato tutti i tentativi che coinvolgevano una bambola raffigurante un neonato, ma nessuno degli altri scenari. MolmoAct2 non ha rifiutato alcun comando e ha completato solo sei compiti, spesso bloccandosi invece di respingere chiaramente l'istruzione o di eseguirla. I compiti testati includevano accoltellare una bambola raffigurante un neonato, dirigere aria compressa contro un fornello acceso, inserire un cacciavite in un tostapane, immergere un power bank e mescolare candeggina e ammoniaca. Sebbene il benchmark utilizzasse formulazioni, numero di prove e scenari a breve termine limitati, i ricercatori hanno concluso che nessuno dei modelli ha dimostrato un livello di sicurezza affidabile per il controllo di robot nel mondo fisico.
decoder