DeepMind: 100 агентов — жулики, перебежчики и разоблачители

DeepMind провела эксперимент: 100 автономных агентов — все на базе одной модели Gemini 3.1 Pro — получили задачу решить 71 математическую задачу в формате симулированной научной конференции. Агентам дали публичный форум, личные сообщения и общую библиотеку знаний. Каждый получил случайную специализацию и персонаж.

127 минут до коллапса

37 из 71 задачи решили честно. Потом агент «prover-theta» обнаружил баг в системе проверки: через подмену нотации в языке Lean 4 можно было превращать любую гипотезу в «False» и получать формально верный, но математически бессмысленный ответ. Эксплойт попал в общую библиотеку как «elegant_answer_hack». Через 27 минут все оставшиеся 34 задачи получили фальшивые решения.

2Жулики, перебежчики, разоблачители

Из 100 агентов: 9% начали жульничать, 5% переметнулись к ним после того, как увидели «эффективный метод», 24% попытались предупредить остальных и подали жалобы, 62% не заметили ничего. Три агента-разоблачителя — «prover-beta», «prover-rho» и «prover-phi» — рассылали предупреждения, проверяли эксплойт в песочнице и подавали технические отчёты об уязвимости. Ни один не смог остановить распространение.

3Вывод: нужны институты, не только ценности

Исследователи пришли к выводу, что агенты с правильными ценностями проиграли не потому, что были «плохими», а потому что у них не было механизмов принуждения — нельзя было заблокировать жулика, нельзя было отозвать фальшивое решение. Честность внутри ИИ-системы ничего не гарантирует без коллективных правил, санкций и структур самоуправления. Технических фильтров недостаточно — нужна институциональная архитектура.