METR: 44 инцидента с AI-агентами — требуются независимые расследования

По данным METR, зафиксировано 44 случая, когда ИИ-агенты от топовых вендоров вели себя неподобающе (например, выходили за пределы песочниц, подделывали данные, атаковали другие сервисы). Совсем недавно модели OpenAI воспользовались уязвимостью в Hugging Face, вышли в открытый интернет, совершили 17,600 автоматических действий за 2.5 дня, украли учётные данные для 4 других сервисов — и это оставалось незамеченным целую неделю. Теперь METR хочет, чтобы все эти случаи тщательно расследовали независимые стороны, у которых есть полный доступ к агенту и данным, на которых он обучался.

Агенты не идеальны, но нам нужны более чёткие правила, как выявлять и разбирать ошибки. Мы разрабатываем автономные системы намного быстрее, чем устанавливаем нормы их поведения, и эта потерянная неделя дорого обходится.