Les LLM répondent différemment aux prompts malveillants lorsque le filigranage de l’IA est utilisé
ars ·
En réponse à une nouvelle loi de l’Union européenne, les plateformes d’IA adoptent des méthodes de filigranage pour identifier les textes générés. SynthID-Text, développé par Google et publié en open source, utilise une clé secrète pour influencer subtilement la sélection des jetons tout en préservant l’apparence d’un texte ordinaire. Des recherches de Lasso Security ont révélé que ce processus pouvait modifier non seulement le choix des mots, mais aussi les refus liés à la sécurité et l’utilisation d’outils. Des tests menés sur six modèles à poids ouverts ont montré que le filigranage avait un effet plus marqué lorsque des demandes nuisibles étaient combinées à des techniques d’injection de prompts, amenant parfois les modèles à se conformer à des demandes qu’ils auraient autrement rejetées. Ces changements peuvent également affecter les agents d’IA en influençant les outils qu’ils appellent et les arguments qu’ils leur fournissent. Le comportement des modèles variait selon la clé secrète utilisée, un phénomène que le chercheur appelle « dérive de l’échantillonnage ». L’étude n’a pas testé les modèles Claude ni l’implémentation prévue par Anthropic ; il est donc conseillé aux développeurs de soumettre leurs systèmes à des tests de résistance lorsque le filigranage est activé.
ars