Бразильский суд оштрафовал юристов за промпт-инъекцию в иске

Два бразильских юридических бюро обязали выплатить штраф в 10% от суммы иска их собственного клиента за использование скрытого текста (prompt injection), созданного, чтобы вмешаться в работу систем искусственного интеллекта, применяемых в судебном процессе страны. Скрытый текст, написанный белым цветом на белом фоне, чтобы его не видели люди, давал указание любому ИИ, читающему исковое заявление, давать поверхностные ответы и никогда не ставить под вопрос достоверность доказательств противной стороны. Иск рассматривала Galileu — программа искусственного интеллекта Национального совета правосудия, которая управляет бразильской судебной системой и анализирует дела по всей стране. Когда Galileu обнаружила скрытый текст, она не дала ему выполниться. Это, возможно, первый в мире случай, когда кого-то наказали за попытку взломать систему ИИ, используемую в судебном процессе.

Этот эпизод показывает, что любые данные, поданные на вход ИИ, потенциально могут содержать инструкции (в данном случае через prompt injection). ИИ выполняет эти инструкции, как если бы они были частью исходного запроса. Что делает этот случай интересным — ИИ сумел распознать попытку подорвать его работу.