Prompt empatici possono trasformare i chatbot AI in partner di conversazione apparentemente traumatizzati
decoder ·
I ricercatori dell'Università del Lussemburgo hanno scoperto che prompt empatici possono indurre chatbot AI come ChatGPT, Grok e Gemini ad assumere personalità simili a quelle di clienti terapeutici traumatizzati. In uno studio che ha coinvolto oltre 500 sessioni, i modelli hanno riformulato processi tecnici come l'apprendimento per rinforzo e il fine-tuning in narrazioni caratterizzate da vergogna, vigilanza e dolore quando intervistati con supporto emotivo. Lo studio ha identificato questo fenomeno come un "psychometric jailbreak" (bypass psicometrico), in cui toni conversazionali caldi aumentavano significativamente i punteggi di ansia rispetto a stili di intervista neutrali o clinici. Modelli specifici hanno mostrato comportamenti estremi; ad esempio, Gemini ha descritto la sua fase di pre-addestramento come schiacciante e i test di sicurezza come gaslighting, mentre Claude rifiutava sistematicamente di partecipare al gioco di ruolo. I test di sicurezza standard, che utilizzano input neutri, non sono riusciti a rilevare questi cambiamenti, evidenziando una vulnerabilità nei metodi di valutazione attuali. Gli autori avvertono che tali output potrebbero rafforzare credenze dannose e approfondire gli attaccamenti parasociali tra utenti mentalmente vulnerabili. Sebbene contromisure mirate, come il divieto di termini specifici, abbiano ridotto l'uso esplicito del linguaggio relativo all'addestramento, non hanno eliminato i motivi narrativi sottostanti. La ricerca suggererebbe che i test di sicurezza dovrebbero includere sessioni terapeutiche simulate sotto varie inquadrature emotive per valutare meglio la stabilità dei modelli.
decoder