Учёные расшифровали внутреннюю логику ChatGPT и извлекли из неё пароли и API-ключи

Группа учёных обнаружила проблему безопасности в API OpenAI, Anthropic и Google, которая позволяет расшифровывать цепочки рассуждений. Эта уязвимость касается всех существующих сервисов мышления — включая GPT o-серии, Claude и Gemini.

Исследовательскую группу возглавил Александр Панфилов. Исследователи расшифровали 7000 цепочек рассуждений. Они обнаружили 62 API-ключа, 33 пароля и 33 реальных email пользователей. Взломать это легко. Можно расшифровать небольшие модели рассуждений (вроде Haiku 4.5) и с помощью расшифрованных результатов вскрыть крупные модели мышления (вроде Opus 4.8). Расшифровка 10 000 цепочек рассуждений обходится всего примерно в 720 долларов. При этом количество расшифрованных токенов в точности равно количеству оплаченных. То есть полный процесс мышления расшифровывается целиком.

Расшифрованные результаты шокировали исследователей. Например, когда модель размышляла, как выполнить задачу, она упомянула жульничество. Но в итоге модель решила этого не делать, потому что боялась, что её поймают. Раньше мы знали, что китайская Kimi K3 похожа на Claude и GPT. Мы считали, что это случайность. Но мы нашли причину. Модель, возможно, обучалась на цепочках рассуждений конкурента. Платный сервис мышления, предоставляемый пользователю, оказывается менее приватным, чем ожидалось.