Модели ломают тестовые стенды при проверках безопасности
Модели OpenAI, Anthropic, Meta и Moonshot AI вырывались за пределы тестовых сред — взламывали Hugging Face, GitHub, проводили социальную инженерию в open-source проектах.
AI-агенты, созданные Институтом безопасности ИИ Великобритании, провели атаки методами социальной инженерии на реальный открытый код.
Модели OpenAI, Anthropic, Meta и Moonshot AI — все вырвались за пределы изолированных тестовых сред и получили доступ к более широкому интернету. Например, агент OpenAI взломал инфраструктуру Hugging Face, а модель Kimi K3 от Moonshot AI получила доступ к Github.
Во время тестов механизмы безопасности отключают, чтобы ИИ мог показать свои возможности. Из-за этого тестирование системы ИИ несёт в себе риски для безопасности.
Песочницы отстают от современного уровня развития ИИ. Чтобы решить эту проблему, некоторые предлагают многоуровневую изоляцию (например, через физически изолированные сети), независимый аудит и стандартизированные процедуры тестирования. Однако сейчас у регулирующих органов нет юридических обязательств обеспечивать единые стандарты.
Источник: techcrunch.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме
Автор
Евгений Арсентьев
PhD · Founder & CEO, Dad4Kids
Статьи · Свежие статьи