Правильное обучение помогает сделать ИИ более устойчивыми к атакам

Новая статья от OpenAI показывает, как добавление совсем небольшой доли обучения на «полезных чертах характера» в обычный процесс обучения модели с подкреплением после предобучения может дать значительный прирост в безопасности. Авторы обнаружили, что если добавить в обычный процесс обучения небольшую долю примеров «полезных черт» (например, правдивость, готовность признавать неуверенность, corrigibility, прозрачность, справедливость, забота о благополучии человека) из разных областей — медицины, образования, науки, права и инженерии, — то получаются модели, которые заметно лучше показывают себя в 44 из 53 разных бенчмарков на обман, честность, подхалимство и reward hacking. Об этой работе недавно писал The Decoder, и она впечатляет тем, что показывает: улучшения обобщаются на самые разные сценарии, хотя сами обучающие данные были ограничены лишь несколькими конкретными ситуациями.

Подход на удивление простой. Авторы составили набор правдоподобных диалогов, поощряющих определённые полезные черты характера. Затем они добавили небольшую долю этих примеров в обычный процесс обучения. Ничего хитрого тут нет — они просто подмешали немного хороших привычек в обучающие данные.

1Что меня здесь удивило

Что особенно круто в этом подходе — он, похоже, работает на стыке разных областей. Например, обучение модели хорошему поведению в медицинском контексте, судя по всему, улучшало её результаты и на вопросах совсем другого рода, и наоборот. По сути, хорошее поведение оказывается заразным. Это перекликается с более ранними находками о том, что обучение модели плохому поведению в каком-то одном контексте может привести к проблемам повсюду, — но теперь выясняется, что хорошее поведение тоже может быть заразным!

Эти модели также оказались устойчивы к состязательным атакам. По словам авторов, «состязательные промпты действовали намного слабее» по сравнению с базовой моделью, и модели смогли сопротивляться попыткам вредоносного файнтюнинга, продолжая при этом выполнять законные инструкции (авторы называют это «избирательной устойчивостью»). Проще говоря, такие модели стало труднее взломать так, чтобы они сказали что-то плохое, но при этом они по-прежнему охотно выполняли ваши инструкции.

Для большинства людей это важно, потому что основная опасность ИИ исходит не от того, что он пытается быть злым, а скорее от того, что он наивен — верит всему, что ему говорят, поддаётся манипуляциям через состязательные вводные данные или уверенно заявляет ложные утверждения. Показывая, что небольшая доля обучения в духе «будь честен, признавай, когда чего-то не знаешь, дай себя поправить» обобщается на всю модель, эта работа даёт простой способ уменьшить количество подобных ошибок. OpenAI определяет эти черты как «эмпирическое поведение», тогда как Anthropic прописывает их явно в виде конституции, но по сути это две стороны одной медали. Главная мысль, которую я хочу здесь донести, в том, что в данном случае улучшение безопасности ИИ, похоже, не потребовало никаких героических инноваций — достаточно было просто посадить несколько хороших семян, которые дальше растут сами.