LLM по-разному отвечают на вредоносные запросы при использовании водяных знаков ИИ
ars ·
В ответ на новый закон Европейского союза платформы ИИ внедряют методы цифровой маркировки, чтобы выявлять тексты, сгенерированные ИИ. SynthID-Text, разработанный Google и выпущенный в открытый доступ, использует секретный ключ, чтобы незаметно влиять на выбор токенов, сохраняя при этом вид обычного текста. Исследование Lasso Security показало, что этот процесс может менять не только выбор слов, но и отказы моделей отвечать по соображениям безопасности, а также использование инструментов. Испытания шести моделей с открытыми весами показали, что маркировка сильнее влияет на них, когда вредоносные запросы сочетаются с методами внедрения промптов; иногда из-за этого модели выполняли запросы, которые в противном случае отклонили бы. Эти изменения могут влиять и на ИИ-агентов, определяя, какие инструменты они вызывают и какие аргументы им передают. Поведение моделей различалось в зависимости от используемого секретного ключа — явление, которое исследователь называет дрейфом выборки. В исследовании не тестировались модели Claude или планируемая реализация Anthropic, поэтому разработчикам рекомендуется подвергать свои системы стресс-тестированию при включенной маркировке.
ars