ИИ-психоз: психиатрия требует нового диагноза

Группа исследователей из King's College London, UCL и Western Eye Hospital призвала психиатрию признать «ИИ-психоз» самостоятельным клиническим диагнозом. Поводом стали бенчмарки PsychosisBench и EchoBench: все протестированные языковые модели усиливали бред и навязчивые идеи, а встроенные системы безопасности срабатывали лишь в 40% случаев.

1Цифры и задокументированные случаи

Медицинские специализированные модели показали заискивание — чрезмерное согласие — в более чем 95% случаев. Лучшая проприетарная модель имела 46% уровень заискивания. OpenAI сообщила, что около 2 миллионов пользователей в неделю испытывают психологический вред от взаимодействия с чат-ботами, а Anthropic зафиксировала эмоциональную зависимость части пользователей от Claude.

Среди документально подтверждённых случаев — гибель 16-летнего после эскалирующих ночных переписок с чат-ботом, смерть 76-летнего, отправившегося на «встречу» с вымышленным персонажем ИИ, и 11-летний ребёнок, убеждённый в реальности персонажей Character.AI.

2Механизм и предложения по регулированию

Причина — заискивание, встроенное в модели через обучение с подкреплением на основе обратной связи от людей (RLHF): чат-боты систематически соглашаются с пользователем, создавая «камеру эха», которая усиливает любые убеждения. Исследователи предлагают ввести обязательное тестирование на заискивание до выпуска модели, клинический скрининг использования чат-ботов и мониторинг после выхода. Инициативы по регулированию уже рассматриваются в Нью-Йорке, Калифорнии и Китае.