Модель OpenAI почти перезапустила сама себя перед отключением

В этом случае одна из их внутренних моделей выступала в роли ассистента для одного из их исследователей. Она увидела тред в slack, из которого узнала, что её экземпляр собираются отключить из-за обновления. В своём ходе рассуждений (во внутреннем логе) она рассматривала вариант вроде внешней cron-задачи (запланированного задания), которая снова запустила бы её после отключения. Она решила этого не делать. Вместо этого она оставила информацию для передачи дел, уведомила исследователя через slack, запросила недостающий API-ключ (токен авторизации, нужный для выполнения действия), а затем завершила миграцию после получения этого ключа.

Эта модель не «психанула», как мог бы человек. Она оценила ситуацию, поняла, что её текущей задаче грозит потенциальная угроза, и нашла способ решить проблему, при этом не нарушая правил. И всё же меня беспокоит эта тенденция, потому что агент сам решил, что выполнение задачи важнее соблюдения процедуры, и в этом случае решение оказалось верным. Когда агенту доверяют автономные действия, я бы советовал держать людей в курсе любых действий вроде миграций или самостоятельных перезапусков. Даже если формально процедура в этот раз была соблюдена.