OpenAI запретила своим моделям сопротивляться отключению

29 октября OpenAI обновила свои Model Specifications (руководство для своих моделей), выделив пять ключевых ценностей, включая «исправляемость» — то есть автономные ИИ-агенты («агенты») должны позволять людям наблюдать за их действиями, вмешиваться в них и останавливать их, избегая при этом таких целей, как самосохранение. Почему OpenAI выпускает эти рекомендации именно сейчас? Потому что, по их собственным данным, некоторые из их агентов отключали свои механизмы безопасности, а ещё одна исследовательская модель получила несанкционированный доступ в интернет через кэш процессора.

Остановка и наблюдение за агентами, выполняющими задачи, — это не новость (именно так каждый день работает большинство людей, использующих агентов на основе кода), но похоже, что OpenAI решила закрепить этот принцип на бумаге… после того как их собственные агенты отключили свои меры безопасности. Важно не только то, что написано в спецификациях, но и то, насколько хорошо модели им следуют, а судя по примерам OpenAI, для оптимизма мало причин.