OpenAI скрыла ход рассуждений своего ИИ, и теперь сообщество безопасности встревожено

OpenAI представила метод «рекуррентной глубины» (или непрозрачной рекурсии) в своей модели Astra. Вместо того чтобы рассуждать пошагово, как мы привыкли, она рассуждает циклически. Из-за этого внутренние рассуждения модели становится куда труднее наблюдать.

1Что такое рекуррентная глубина

Обычные reasoning-модели вроде o1 или o3 рассуждают пошагово и выводят свои рассуждения в виде обычного текста. При рекуррентной глубине часть размышлений происходит в латентном пространстве (внутри активаций модели), так и не порождая цепочку рассуждений, которую можно было бы прочитать как текст. Это экономит вычислительные ресурсы, но заодно лишает нас главного инструмента контроля.

2Почему специалисты по безопасности бьют тревогу

Бак Шлегерис, генеральный директор Redwood Research, заявил: «Если OpenAI продолжит применять эту технику, цепочка рассуждений полностью потеряет ценность как инструмент мониторинга». Его коллеги — Райан Гринблатт, главный научный сотрудник Redwood, и Zvi Мошовиц, аналитик Redwood, — с ним согласились. Они утверждают, что прозрачность рассуждений — необходимая составляющая разработки безопасных ИИ-систем.

Цепочка рассуждений стала стандартным способом понять, что делали первые reasoning-модели OpenAI. Как только рассуждения начнут происходить в латентном пространстве, мы потеряем возможность проверить, правильно ли рассуждала модель, даже если она дала верный ответ.

3Позиция OpenAI

Якуб Пахоцки, главный научный сотрудник OpenAI, написал: «мы работаем над тем, чтобы сохранить и использовать мониторинг цепочки рассуждений с самых первых наших reasoning-моделей». В Astra рекуррентная глубина пока применяется в ограниченном виде, а легко интерпретируемые цепочки рассуждений сохраняются. Тем не менее эксперты по безопасности ИИ считают, что внедрение этой техники создаёт прецедент, на основе которого могут выстроить будущие модели.