OpenAI создала ИИ-хакера, чтобы тестировать свои модели!

OpenAI представила GPT-Red — языковую модель, заточенную под атаки на другие ИИ-модели. Идея проекта в том, чтобы автоматизировать процесс red teaming, который иначе делают вручную эксперты.

1Как устроено «додзё» для ИИ-атак

Модель обучали в симулированной среде, воспроизводящей реальные приложения — вроде сёрфинга в интернете, проверки почты, написания кода и так далее. Смысл в том, что GPT-Red атакует другие ИИ-модели, те защищаются, и по ходу этого GPT-Red становится лучше. В процессе GPT-Red обнаружила как известные, так и новые варианты атак.

2Главная находка: поддельная цепочка мыслей

Самое интересное в GPT-Red — это её атака с «поддельной цепочкой рассуждений». В этом случае GPT-Red подмешивает сфабрикованную информацию в цепочку рассуждений целевой модели. В итоге целевая модель принимает решения на основе ложной информации. Атаки с поддельной цепочкой рассуждений представляют серьёзную угрозу для агентных ИИ-моделей, способных выполнять многошаговые действия.

3Результаты против реальных моделей

В экспериментах с GPT-Red ей удавалось скомпрометировать GPT-5 более чем в 90% случаев. GPT-5.6, напротив, оказалась куда более крепким орешком — успешными были менее 23% атак. Это значит, что OpenAI обучает свои новые модели защищаться от атак GPT-Red. Более того, система смогла взломать торговый автомат Vendy, изменив в нём цены и отменив заказы покупателей.

GPT-Red не выложена в открытый доступ. Вместо этого OpenAI использует её внутри компании, чтобы проверять все свои модели перед релизом. Она превосходит людей в задачах red teaming, тем самым меняя подход к тестированию безопасности во всей индустрии.