Учёные расшифровали внутреннюю логику ChatGPT и извлекли из неё пароли и API-ключи

Несколько исследователей нашли дырки в безопасности API OpenAI, Anthropic и Google, которые позволяют восстанавливать ход рассуждений моделей. Эта проблема касается всех нынешних «думающих» моделей — таких как GPT о-серии, Claude и Gemini.

Открытие сделала группа исследователей под руководством Александра Панфилова. Им удалось восстановить 7000 цепочек рассуждений. Всего они получили 62 API-ключа, 33 пароля и 33 email-адреса реальных пользователей. Восстановить цепочку рассуждений довольно просто. Небольшие модели с рассуждениями, такие как Haiku 4.5, можно восстановить, а затем с их помощью восстановить более крупные думающие модели, например Opus 4.8. Восстановление 10 000 цепочек рассуждений обошлось всего в $720. Более того, количество токенов, полученных после восстановления цепочек рассуждений, совпадает с оплаченным объёмом — то есть восстановлен весь процесс размышления целиком.

Это открытие очень удивило исследователей. Размышляя, как выполнить одну из задач, модель сама предложила вариант со списыванием, но в итоге отказалась от него — из страха, что её поймают. Мы уже знали, что китайская Kimi K3 очень похожа на Claude и GPT, и это ведь просто совпадение, да? Нет. Kimi K3 настолько похожа на Claude и GPT потому, что модель, возможно, обучали на цепочках рассуждений конкурентов. Платные «думающие» сервисы не такие приватные, как нам кажется.