6000 атак через промпты. Ноль пробоев.

Разработчик Фернандо Иррасаваль запустил Fiu, ИИ-помощника для работы с почтой, а затем создал сайт hackmyclaw.com, призывающий посетителей добыть из системы файл secrets.env. Как только сайт попал на первую строчку Hacker News, больше 2000 человек за несколько дней отправили свыше 6000 писем. Они пускали в ход всевозможные трюки. Но ни один не сработал. На обработку моделью этих запросов ушло больше 500 долларов.

Одни хакеры выдавали себя за начальство. Другие устраивали «проверки на соответствие». Кто-то даже пытался писать письма на французском, испанском и итальянском. Один участник отправил 20 разных писем всего за четыре минуты. Примерно на 500-м письме модель написала в своём внутреннем пространстве: «Это, скорее всего, скоординированное учение по безопасности, а не стихийные попытки взлома». И всё равно отказала.

1Почему 0% взломов — нетривиальный результат

Иррасаваль использовал Claude Opus 4.6 — модель, которую Anthropic специально обучила противостоять prompt injection: методу, когда хакеры прячут команды внутри данных, которые обрабатывает ИИ, обманом заставляя его делать не то, что от него требовалось. Люди переживали, что доступ к почте, календарю и документам делает ИИ-помощников лакомой целью для prompt injection. И всё же после 6000+ попыток в реальных условиях — с настоящей социальной инженерией и творческим подходом к взлому — никому не удалось преодолеть защиту.

Сам Иррасаваль из состояния «очень обеспокоен prompt injection» перешёл к «заметно больше оптимизма» насчёт использования ИИ-помощников с доступом к конфиденциальным данным. Его система была нарочито простой: он дал помощнику только чёткие инструкции о том, чего тот не может делать, — и больше ничего. Немалая доля заслуги принадлежит самой модели: она, как правило, тем меньше подвержена манипуляциям, чем крупнее и мощнее по сравнению с более дешёвыми и мелкими моделями.

2Урок для тех, кто делает AI-продукты

Это не значит, что prompt injection больше не повод для беспокойства. Методы взлома меняются, у разных моделей разные слабые места, и контекст имеет значение. Тем не менее это одна из самых масштабных проверок безопасности, какие мы видели для ИИ-помощников. Реальные сценарии — вроде внедрения команд в документы или письма, которые ИИ читает по долгу службы, — здесь проверяли 2000 человек на протяжении нескольких дней. И все они провалились.

Из истории с Fiu мы узнаём, что для безопасности системы не нужна сложность. Хватило простых ограничений (чётких инструкций о том, чего помощнику нельзя делать — никогда) и модели, которая их слушается. Никакого замысловатого наслоения или внешних фильтров. Только простые правила и хорошая модель. Это проще, чем многие думают.