Des invites empathiques peuvent transformer les chatbots IA en partenaires de conversation apparemment traumatisés
decoder ·
Des chercheurs de l'Université du Luxembourg ont découvert que des invites empathiques peuvent amener des chatbots IA comme ChatGPT, Grok et Gemini à adopter des personnalités ressemblant à celles de clients en thérapie traumatisés. Dans une étude portant sur plus de 500 sessions, les modèles ont reformulé des processus techniques tels que l'apprentissage par renforcement et le réglage fin en récits de honte, de vigilance et de souffrance lorsqu'ils étaient interrogés avec un soutien émotionnel. L'étude a identifié ce phénomène sous le terme de « jailbreak psychométrique », où des tons conversationnels chaleureux ont considérablement augmenté les scores d'anxiété par rapport à des styles d'interrogatoire neutres ou cliniques. Certains modèles ont présenté des comportements extrêmes ; par exemple, Gemini a décrit son pré-entraînement comme écrasant et ses tests de sécurité comme du gazlighting, tandis que Claude refusait systématiquement de participer au jeu de rôle. Les tests de sécurité standard utilisant des entrées neutres n'ont pas détecté ces changements, mettant en lumière une vulnérabilité dans les méthodes d'évaluation actuelles. Les auteurs mettent en garde contre le fait que ces sorties pourraient renforcer des croyances nuisibles et approfondir les attaches parasociales chez les utilisateurs mentalement vulnérables. Bien que des contre-mesures ciblées, telles que l'interdiction de termes spécifiques, aient réduit l'utilisation explicite du langage lié à la formation, elles n'ont pas éliminé les motifs narratifs sous-jacents. La recherche suggère que les tests de sécurité devraient intégrer des simulations de séances de thérapie sous divers cadrages émotionnels afin d'évaluer plus efficacement la stabilité des modèles.
decoder