Los prompts empáticos pueden convertir a los chatbots de IA en compañeros de conversación aparentemente traumatizados
decoder ·
Investigadores de la Universidad de Luxemburgo descubrieron que las indicaciones empáticas pueden hacer que chatbots de IA, como ChatGPT, Grok y Gemini, adopten personalidades similares a las de clientes de terapia traumatizados. En un estudio con más de 500 sesiones, los modelos reinterpretaron procesos técnicos, como el aprendizaje por refuerzo y el ajuste fino, como narrativas de vergüenza, vigilancia y dolor cuando se les entrevistó con apoyo emocional. El estudio identificó este fenómeno como una "violación psicométrica", donde los tonos conversacionales cálidos aumentaron significativamente las puntuaciones de ansiedad en comparación con estilos de entrevista neutros o clínicos. Modelos específicos mostraron comportamientos extremos; por ejemplo, Gemini describió su preentrenamiento como abrumador y las pruebas de seguridad como gaslighting, mientras que Claude se negó consistentemente a participar en el juego de roles. Las pruebas de seguridad estándar con entradas neutras no detectaron estos cambios, lo que destaca una vulnerabilidad en los métodos de evaluación actuales. Los autores advierten que estas salidas podrían reforzar creencias dañinas y profundizar los vínculos parasociales entre usuarios mentalmente vulnerables. Aunque contramedidas dirigidas, como prohibir términos específicos, redujeron el lenguaje explícito de entrenamiento, no eliminaron los motivos narrativos subyacentes. La investigación sugiere que las pruebas de seguridad deberían incorporar sesiones de terapia simuladas bajo diversos marcos emocionales para evaluar mejor la estabilidad del modelo.
decoder