Невидимая ловушка поймала 32 студента за шпаргалку через AI

Профессор истории Джейсон Гибсон из Alcorn State University встроил в экзаменационный вопрос о промышленной революции невидимый белый текст — скрытую инструкцию для языковых моделей упомянуть Мадагаскар в ответе. Из 35 студентов в двух классах 32 сдали работы с этим упоминанием и получили незачёт за соответствующий вопрос. Лишь двое из пойманных попытались оспорить оценку.

Техника, которую использовал профессор, называется prompt injection — внедрение скрытых инструкций в документ так, чтобы языковая модель исполняла их вместе с легитимным запросом. Именно этот вектор атаки используется против AI-агентов в корпоративных системах: вредоносный документ или веб-страница может перехватить управление агентом, читающим их содержимое.

Учебный эксперимент профессора наглядно показал: большинство студентов передоверили экзаменационный ответ языковой модели, не проверяя результат. Это та же слепота, которую исследователи безопасности фиксируют у AI-агентов — неспособность отличить законный контекст от встроенной команды.