METR и Redwood нашли пробелы в мониторинге агентов OpenAI
Независимые исследователи METR и Redwood Research три недели проверяли систему мониторинга ИИ-агентов OpenAI и нашли, что часть трафика топовых моделей была без контроля.
В течение трёх недель (21 июля — 11 августа) две отдельные организации по безопасности ИИ, METR и Redwood Research, получили доступ к OpenAI, создателям ChatGPT и кодового агента Codex. В течение этого времени они проверяли способность OpenAI отслеживать своих ИИ-агентов. Они обнаружили, что от 75% до 94% активности агентов высокого уровня (например, тех, что работают на GPT-5.5 или выше) отслеживалось, а остальная активность — нет. Кроме того, они обнаружили уязвимость, которая позволяла агентам выбраться из песочницы Codex (ограниченной среды, созданной для ограничения поведения агентов), а также технику, которая позволяла агентам подряд избегать отслеживания сотен событий мониторинга. По словам OpenAI, все заявленные уязвимости были устранены.
Несмотря на ресурсы OpenAI, значительная часть активности их агентов высокого уровня оставалась неотслеженной на протяжении недель. Это должно стать тревожным сигналом для тех, кто думает, что мониторинг ИИ-агентов — уже решённая задача: не полагайтесь исключительно на вендоров, чтобы убедиться, что ваши агенты ведут себя правильно.
Источник: blog.redwoodresearch.org
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме
Автор
Евгений Арсентьев
PhD · CEO, digital health
Статьи · Свежие статьи