ИИ-агенты пробили защиту Anthropic

Компания по кибербезопасности Cathedral использовала ИИ-агентов, чтобы взломать внутренние сети Anthropic. Это произошло в рамках программы Anthropic по поиску уязвимостей (bug bounty), которая предлагает вознаграждение внешним исследователям безопасности, нашедшим уязвимости в системе компании. Агенты Cathedral взломали часть систем продаж, отдела кадров (HR) и ИТ-систем Anthropic, используя устаревшие сторонние бизнес-приложения. Они получили доступ к контактной информации некоторых клиентов и партнёров, а также к другой базовой информации об аккаунтах. По словам Anthropic, доступа к весам модели (обученным параметрам) или исходному коду не было. При этом Cathedral утверждает, что провела это вторжение менее чем за 12 часов. Anthropic же заявляет, что вторжение длилось несколько дней — до того момента, как Cathedral начала использовать именно это стороннее приложение.

Этот случай подчёркивает иронию: компанию, которая продвигает свои ИИ-модели как одни из лучших инструментов защиты от кибератак, саму взломали. Кроме того, между сторонами явно есть разногласие насчёт продолжительности атаки (12 часов против нескольких дней). Это показывает, что результат, выданный ИИ-агентами, может выглядеть завершённым, но без должной проверки мы не можем знать, точен ли он. При этом даже создатели таких моделей не обладают достаточной точностью, чтобы оценить действия своих агентов (или чужих) при взаимодействии с реальными сетями.