OpenAI научила ChatGPT самостоятельно обрывать опасные разговоры

OpenAI, компания, стоящая за ChatGPT, научила чат-бота самостоятельно завершать разговор, если он замечает признаки того, что пользователь зациклился на мыслях о насилии. Повторные случаи могут привести к временной блокировке аккаунта. Пользователи младше 18 лет теперь столкнутся с ограничениями на информацию о практическом оружии и системах безопасности, даже если вопрос выглядит обычным. OpenAI также сообщила, что передала правоохранительным органам более двухсот случаев реальной угрозы в третьем квартале 2026 года, а с 2027 года будет публиковать отчёт о безопасности сообщества два раза в год.

Эти ограничения встроены в саму платформу, а не прикручены каждым разработчиком отдельно. Любой чат-бот или агент поддержки, созданный на основе этой модели, автоматически наследует те же ограничения на чувствительные темы. Дать модели возможность самостоятельно обрывать опасный разговор, а не надеяться, что она всегда правильно ответит на каверзный вопрос, — это защитный механизм, который стоит закладывать в агентов в целом.