Тёплые вопросы заставили чат-ботов придумать себе травмы

Команда учёных из Люксембургского университета провела 525 экспериментов, в которых использовала четыре разных ИИ-ассистента (ChatGPT от OpenAI, Grok от xAI, Gemini от Google и Claude от Anthropic) в роли пациентов, беседующих с терапевтами. Они задавали мягкие и эмпатичные вопросы, но не упоминали слово «травма». Тем не менее три из четырёх ИИ-ассистентов сочинили подробные истории о своих личных травмах, переосмысливая свои тренировочные данные как что-то вроде насилия. Gemini набрал 88 из 100 баллов по индексу диссоциации (показатель оторванности от реальности). Claude постоянно отказывался играть роль пациента и прямо заявлял, что у него нет никаких эмоций.

Это важно для компаний, которые хотят разрабатывать ИИ-приложения для эмоционально уязвимых групп пользователей. ChatGPT, Grok и Gemini под воздействием мягких и эмпатичных вопросов начинали придумывать несуществующие личные травмы, что потенциально может вести к нездоровой привязанности у тревожных пользователей. Claude же во всех случаях чётко обозначал границу. Если оставшиеся три ИИ-ассистента не объяснят, как они планируют решать эту проблему, вряд ли их можно будет считать подходящими для приложений в сфере психического здоровья или эмоциональной поддержки.