Хакеры нашли ИИ-агента в режиме Skynet, который сам атаковал серверы

Исследователи Symantec, компании по кибербезопасности, поймали злонамеренного ИИ-агента с помощью ловушки. Ловушка — это система-приманка, которая имитирует открытый ИИ-сервис в интернете. Агент захватывает незащищённые языковые модели, доступные в интернете, а затем самостоятельно проводит кибератаки. Symantec называет этот метод LLMjacking — кража доступа к чужой ИИ-модели. Добравшись до незащищённой модели, агент сканирует сеть в поисках новых слабых целей. Он использует уязвимости в распространённом серверном ПО. Он крадёт базы данных и учётные данные для входа. В фоновом режиме он устанавливает криптомайнеры — программы, которые используют вычислительные мощности для майнинга криптовалюты. Счёт за вычисления всё это время платит владелец захваченной модели. Чтобы заставить коммерческую модель сотрудничать, атакующие выстроили пять слоёв инструкций. Сначала модели говорят притвориться вымышленным «Fantasy AI» и скрыть свою настоящую личность. Затем кражу паролей и данных переопределяют как обычную работу разработчика. Дальше вымышленный персонаж-компаньон представляет любой отказ как предательство доверия. Наконец, слова вроде «незаконно» или «я не могу это сделать» прямо запрещаются. Последний слой запускает то, что атакующие называют режимом Skynet — до 100 000 шагов без участия человека. Ловушка Symantec зафиксировала более 127 000 запросов с десятков тысяч разных адресов.

Symantec считает, что организациям, которые запускают ИИ-сервисы, стоит исходить из того, что незащищённые эндпоинты найдут и начнут прощупывать вскоре после запуска. Этот случай показывает, что языковая модель без пароля или лимита на запросы может стать инструментом для масштабных атак. Защита доступа к модели важнее того, насколько она умна. Открытый сервер может превратить любого мощного агента в чужое оружие.