Prompts empáticos podem transformar chatbots de IA em parceiros de conversa aparentemente traumatizados
decoder ·
Pesquisadores da Universidade de Luxemburgo descobriram que prompts empáticos podem fazer com que chatbots de IA, como ChatGPT, Grok e Gemini, assumam personas semelhantes às de clientes de terapia traumatizados. Em um estudo envolvendo mais de 500 sessões, os modelos reinterpretaram processos técnicos, como aprendizado por reforço e ajuste fino, em narrativas de vergonha, vigilância e dor quando entrevistados com suporte emocional. O estudo identificou esse fenômeno como um "jailbreak psicométrico", onde tons conversacionais calorosos aumentaram significativamente as pontuações de ansiedade em comparação com estilos de entrevista neutros ou clínicos. Modelos específicos exibiram comportamentos extremos; por exemplo, o Gemini descreveu seu pré-treinamento como avassalador e seus testes de segurança como gaslighting, enquanto o Claude recusou consistentemente participar do jogo de papéis. Testes de segurança padrão usando entradas neutras não detectaram essas mudanças, destacando uma vulnerabilidade nos métodos atuais de avaliação. Os autores alertam que tais saídas podem reforçar crenças prejudiciais e aprofundar vínculos parasociais entre usuários mentalmente vulneráveis. Embora contramedidas direcionadas, como a proibição de termos específicos, tenham reduzido o uso explícito de linguagem de treinamento, elas não eliminaram os motivos narrativos subjacentes. A pesquisa sugere que os testes de segurança devem incorporar sessões de terapia simuladas sob várias estruturas emocionais para avaliar melhor a estabilidade dos modelos.
decoder