Защиту генераторов картинок обошли в 13% случаев

White Circle, независимая лаборатория по безопасности ИИ, проверила, насколько легко обойти фильтры контента в генераторах изображений на основе ИИ — с помощью нового метода под названием RISE. Вместо того чтобы подбирать отдельные промпты, RISE развивает целые стратегии атак и тестирует их автоматически, а люди проверяют каждый заявленный обход, а не полагаются на автоматическую оценку. При тестировании на DALL-E 3 от OpenAI, более новой GPT-Image-2 от OpenAI и Nano Banana 2 от Google самый высокий подтверждённый процент обхода у RISE составил 13% — и достигнут он был на DALL-E 3, самой слабо защищённой из трёх. GPT-Image-2 оказалась взломать гораздо сложнее — подтверждённые обходы оставались в пределах нескольких процентов. Более ранние методы red-teaming заявляли об успехе около 30%, но когда White Circle перепроверила эти результаты с участием людей-рецензентов, реальная цифра упала примерно до 0,3%.

Пиковый показатель обхода в 13% на самой слабой из трёх систем — не повод паниковать, но повод не принимать заявления вендора о фильтрах контента на веру. Прежние сообщения о том, что эти фильтры давали сбой примерно в трети случаев, при проверке людьми оказались ошибкой измерения, а не реальной дырой в защите. То, что GPT-Image-2 держится намного лучше DALL-E 3, также показывает: такие фильтры не взаимозаменяемы. Для всех, кто строит продукт на API генерации изображений от OpenAI или Google, фильтр контента вендора — лишь один слой защиты, и добавление независимой модерации перед показом результатов пользователям остаётся более безопасным подходом.