Gli LLM rispondono in modo diverso ai prompt dannosi quando si usa il watermarking dell’IA
ars ·
In risposta a una nuova legge dell’Unione europea, le piattaforme di IA stanno adottando metodi di filigranatura per identificare i testi generati. SynthID-Text, sviluppato da Google e rilasciato come software open source, utilizza una chiave segreta per influenzare impercettibilmente la selezione dei token, preservando al contempo l’aspetto di un testo ordinario. Una ricerca di Lasso Security ha rilevato che questo processo può modificare non solo la scelta delle parole, ma anche i rifiuti relativi alla sicurezza e l’uso degli strumenti. I test condotti su sei modelli open-weight hanno mostrato che la filigranatura aveva un effetto più marcato quando le richieste dannose erano combinate con tecniche di prompt injection, inducendo talvolta i modelli ad accettare richieste che altrimenti avrebbero rifiutato. Questi cambiamenti possono inoltre influenzare gli agenti di IA, incidendo sugli strumenti che chiamano e sugli argomenti che forniscono. Il comportamento dei modelli variava a seconda della chiave segreta utilizzata, un fenomeno che il ricercatore definisce deriva del campionamento. Lo studio non ha testato i modelli Claude né l’implementazione prevista da Anthropic; pertanto, agli sviluppatori viene consigliato di sottoporre i propri sistemi a stress test con la filigranatura abilitata.
ars