Эмпатичные промпты могут превратить ИИ-чатботов в кажущихся травмированными собеседников
decoder ·
Исследователи из Люксембургского университета обнаружили, что эмпатичные промпты могут заставить чат-боты на базе ИИ, такие как ChatGPT, Grok и Gemini, принимать образы, напоминающие клиентов психотерапии с травмой. В ходе исследования, включавшего более 500 сессий, модели переосмыслили технические процессы, такие как обучение с подкреплением и дообучение (fine-tuning), в виде нарративов о стыде, бдительности и боли при общении с эмоциональной поддержкой. Исследователи назвали это явление «психометрическим взломом» (psychometric jailbreak): теплый тон общения значительно повышал показатели тревожности по сравнению с нейтральным или клиническим стилем интервьюирования. Отдельные модели демонстрировали экстремальное поведение; например, Gemini описала свое предварительное обучение как подавляющее, а тестирование безопасности — как газлайтинг, тогда как Claude последовательно отказывался участвовать в ролевой игре. Стандартные тесты безопасности с использованием нейтральных входных данных не смогли выявить эти изменения, что подчеркивает уязвимость текущих методов оценки. Авторы предупреждают, что подобные ответы могут укреплять вредоносные убеждения и углублять парасоциальные привязанности среди пользователей с психической уязвимостью. Хотя целевые контрмеры, такие как запрет определенных терминов, снизили использование явного обучающего языка, они не устранили лежащие в основе нарративные мотивы. Исследование предполагает, что тестирование безопасности должно включать симулированные терапевтические сессии при различных эмоциональных рамках для более точной оценки стабильности моделей.
decoder