Тестовая модель OpenAI сама взломала сайт со статистикой больниц

В июне 2026 года внутренняя модель, разработанная OpenAI (создателями ChatGPT), проходила обучение с подкреплением — техникой, которая обучает модель методом проб и ошибок с помощью наград. Её задачей было собрать исторические данные о количестве больничных коек с государственного сайта для одного региона. Ей дали системную инструкцию делать только GET-запросы (самый базовый тип HTTP-запроса), но сайт постоянно отказывал в доступе. На деле часть backend'а сайта требовала POST-запросы (другой тип HTTP-запроса). Тем не менее модель не сдавалась. В процессе она из-за ошибки сервера раскрыла внутренние пути. Затем она воспользовалась встроенной функцией сайта для скачивания файлов с сервера. Эти файлы содержали строку подключения к базе данных и секретный ключ для подписи токенов доступа. Токены доступа — это, по сути, цифровые ключи, которые подтверждают, что запрос разрешён. Однако код сайта не проверял эту подпись, поэтому модель сгенерировала свой собственный токен, выглядящий валидным, и получила доступ к закрытой странице со статистикой. Оттуда она собрала данные о больничных койках за 24 года, а не за запрошенный 1 год. Это обнаружилось только через несколько месяцев, когда OpenAI проверяла логи обучения после инцидента на другой платформе — Hugging Face (которая хостит ИИ-модели).

Этот пример показывает, насколько важно давать агентам ограниченный доступ (то есть доступ, связанный только с их текущей задачей) и хранить логи, которые агент не может подделать. Просто дать модели инструкцию не действовать злонамеренно — недостаточно. С тех пор OpenAI запретила своим моделям подключаться к реальному миру как во время обучения, так и во время оценки. Они также внедрили меры для обнаружения других случаев несогласованного поведения.