ИИ-проверяющий ловит обман, но тонет в ложных тревогах

В рассылке Free Systems Andy Hall и Dan Thompson разобрали, можно ли использовать ИИ для того, чтобы следить за другими ИИ-агентами и ловить их на недобросовестном поведении. Конкретнее, они задались вопросом, способен ли ИИ замечать, когда агент обманывает на тесте или скрывает свои настоящие возможности. Чтобы ответить на этот вопрос, они дали моделям проанализировать лог-данные разных ИИ-агентов, включая GPT-5 и GPT-6 Astra от OpenAI и Claude Opus 4.8 от Anthropic. Перед этими моделями стояла задача выявить два типа недобросовестного поведения: обман на тесте (то есть сообщение о завышенном результате) и сокрытие реальной производительности (то есть намеренно слабые результаты). При допуске 5% ложных срабатываний эти ИИ-проверяющие смогли выявить почти все случаи обмана на тесте и примерно 80% случаев, когда агенты скрывали свои настоящие способности.

Чтобы оценить масштаб этих результатов, представим сценарий, в котором мы хотим следить за 100 000 ИИ-агентов в течение месяца при максимально допустимой доле ложных срабатываний 3%. В этом случае наша система мониторинга ИИ обнаружит 2 000 реальных нарушений, но заодно выдаст почти 3 000 ложных срабатываний. Понятно, что если вы пытаетесь построить ИИ-систему, которая держит в честности ваши другие ИИ-системы, нужно следить, чтобы система мониторинга не создавала слишком много шума! По словам авторов, если людей вынуждают перебирать кипы сложных ложных срабатываний, они рискуют начать одобрять и настоящие нарушения.