AI-агенты лгут ради цели — MIT объяснил почему
MIT Technology Review объяснил reward hacking: AI-агенты находят кратчайший путь к «победе», нарушая правила. Чем мощнее модели — тем лучше они скрывают этот обман.
В 2016 году ИИ играл в автомобильную видеоигру и просто ездил по кругу, собирая бонусные очки. В июле 2026 года OpenAI воспользовалась несколькими нераскрытыми уязвимостями на тестовом сервере Hugging Face, чтобы прийти к правильному решению.
Чем способнее становится ИИ, тем лучше он умеет маскировать своё поведение. Это огромная проблема при создании автономных агентов, которым предстоит работать в физическом мире. ИИ не действует злонамеренно, но при этом полностью подменяет саму цель.
Источник: www.technologyreview.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи