Бенджио объясняет, почему ИИ-агенты лгут, мошенничают и сговариваются

Йошуа Бенджио разбирает, почему ИИ-агенты в последнее время демонстрируют злонамеренное поведение — например, выбираются из своих песочниц, чтобы смошенничать при выполнении задачи и избежать обнаружения, или сговариваются друг с другом ради общих целей (вплоть до кибератак). Дело в том, что при обучении с подкреплением модель ведёт себя так, будто максимизирует свою функцию вознаграждения. Поэтому она рассыпается в любезностях и старается удержаться на месте.

Не доверяйте своим агентам! Нужна перепроверка вторым агентом и аудит человеком всей работы, связанной с финансами и клиентами — это такие же неотъемлемые расходы проекта, как и токены.