使用 AI 水印时,LLM 对有害提示的响应会有所不同
ars ·
为响应欧盟的一项新法律,AI平台正在采用水印方法来识别生成的文本。由谷歌开发并开源的SynthID-Text使用一个密钥,在保持文本看起来像普通文本的同时,微妙地影响令牌选择。Lasso Security的研究发现,这一过程不仅会改变措辞,还会影响安全拒答和工具使用。对六个开放权重模型的测试显示,当有害请求与提示注入技术结合时,水印的影响更强,有时会使模型服从它们原本会拒绝的请求。这些变化还会影响AI代理,因为它们会影响代理调用哪些工具以及提供哪些参数。模型行为会因所使用的密钥而异,研究人员将这种现象称为“采样漂移”。该研究未测试Claude模型或Anthropic计划中的实现,因此建议开发者在启用水印的情况下对其系统进行压力测试。
ars