Os LLMs respondem de forma diferente a prompts nocivos quando se usa marca d’água de IA
ars ·
Em resposta a uma nova lei da União Europeia, as plataformas de IA estão adotando métodos de marca d’água para identificar textos gerados. O SynthID-Text, desenvolvido pelo Google e disponibilizado como código aberto, usa uma chave secreta para influenciar sutilmente a seleção de tokens, preservando a aparência de um texto comum. Uma pesquisa da Lasso Security constatou que esse processo pode alterar não apenas a escolha de palavras, mas também as recusas de segurança e o uso de ferramentas. Testes com seis modelos de pesos abertos mostraram que a marca d’água teve um efeito mais forte quando pedidos prejudiciais eram combinados com técnicas de injeção de prompt, às vezes fazendo com que os modelos atendessem a solicitações que, de outra forma, rejeitariam. Essas mudanças também podem afetar agentes de IA, influenciando quais ferramentas eles acionam e quais argumentos fornecem. O comportamento dos modelos variou conforme a chave secreta utilizada, fenômeno que o pesquisador chama de desvio de amostragem. O estudo não testou os modelos Claude nem a implementação planejada pela Anthropic; por isso, recomenda-se que os desenvolvedores submetam seus sistemas a testes de estresse com a marca d’água ativada.
ars