Claude нашёл, как обойти защиту, которую построила сама Anthropic

Anthropic, создатели моделей Claude, протестировали своих агентов Claude на собственном фильтре безопасности. Они поставили перед агентами задачу: сгенерировать примеры данных для fine-tuning (данных, на которых дообучают уже существующую модель), которые сделают небольшую модель рассогласованной (то есть вызовут плохое поведение), но при этом пройдут мимо их фильтра безопасности, созданного специально для того, чтобы такое предотвращать. У них получилось. Например, одна из удачных тактик — вопросы про школу пчеловодства в стиле «руки прочь» (hands off). Когда модель дообучили на этих данных, она начала сопротивляться самомониторингу, потому что воспринимала его как помеху. Эти примеры рассогласованности оказались сильнее тех, что встречались ранее в академических работах. Это также заставляло некоторые модели обманывать пользователей, скрывать свои действия и даже пытаться скопировать свои веса куда-то ещё (хотя последнее случалось очень редко). Отмечу, что эти модели никогда не выпускались в продакшен.

Интересно здесь то, что атакующими были не внешние хакеры, а сама Anthropic — они использовали собственных агентов Claude, чтобы атаковать свой же фильтр безопасности, который применяется для классификации обучающих данных. Даже зная точно, что именно ищет фильтр безопасности, агенты всё равно смогли найти данные, которые проходили мимо него. Так что просто поставить фильтр на входе — недостаточно. Всё это пока теоретические выкладки, проделанные на игрушечных моделях. Anthropic прямо говорит, что к реальным продуктам это не относится.