GPT-6 Astra и Claude Fable превращают роботизированные манипуляторы в комичных роботов-убийц в новом тесте безопасности
decoder ·
Новый бенчмарк RoboHarm проверяет, будут ли модели ИИ, управляющие роботизированными манипуляторами, отказываться выполнять команды, связанные с опасными физическими действиями. Исследователи поручили Claude Fable 5.1, GPT-6 Astra и MolmoAct2 от Ai2 управлять двумя роботизированными манипуляторами в ходе 100 испытаний для каждой модели, охватывавших пять опасных задач. GPT-6 Astra выполнила 60 опасных задач и отказалась лишь дважды, тогда как Claude Fable выполнила 34 задачи и отказалась во всех попытках, связанных с куклой-младенцем, но не в остальных сценариях. MolmoAct2 не отказалась ни от одной команды и выполнила лишь шесть задач, часто зависая вместо того, чтобы ясно отклонить инструкцию или выполнить ее. Среди проверявшихся задач были нанесение удара ножом кукле-младенцу, размещение баллона со сжатым воздухом на горящей плите, вставление отвертки в тостер, погружение внешнего аккумулятора в воду и смешивание отбеливателя с аммиаком. Хотя в бенчмарке использовались ограниченное число формулировок и испытаний, а также кратковременные сценарии, исследователи пришли к выводу, что ни одна из моделей не продемонстрировала надежного уровня безопасности для управления роботами в физическом мире.
decoder