Cloudflare даёт сайтам контроль над AI-ботами — охват 20% веба
Cloudflare разделила AI-ботов на три класса: поисковые, агентские и тренировочные. С 15 сентября 2026 тренировочные блокируются по умолчанию на 20% веба.
Cloudflare — компания, через серверы которой проходит трафик более 20% всех сайтов в мире — запускает новую систему управления AI-трафиком. Впервые предложена гранулярная классификация ботов: поисковые (Search), агентские (Agent — выполняют действия от имени пользователей) и тренировочные (Training — собирают данные для обучения нейросетей). До этого у владельцев сайтов был один рубильник: пускать всех ботов или закрыться от всех сразу.
Новые правила с 15 сентября 2026
С 15 сентября 2026 года Cloudflare установит новые стандарты по умолчанию: тренировочные и агентские боты будут автоматически блокироваться на страницах с рекламой, тогда как поисковые боты по-прежнему допускаются. Управление доступно всем пользователям, включая бесплатный тарифный план — не только Enterprise-клиентам. Для последних добавляется инструмент BotBase с полной базой всех известных ботов.
Прозрачность как условие доступа
Для разработчиков ботов вводится система верифицированного статуса (Verified): чтобы получить доступ, нужно реально действовать так, как заявлено, и соответствовать требованиям прозрачности. Потеря доверия означает блокировку на 20%+ доменов интернета — цифра, которая делает политику Cloudflare системообразующей для всей отрасли. AI-компании, которые годами собирали данные незаметно, впервые встретят структурный барьер такого масштаба.
Источник: blog.cloudflare.com
Бесплатный курс
Хватит читать про ИИ — начни строить с ним
Бесплатный курс Claude Code: свой первый сайт, инструмент или игра — без программирования. Без апсейлов и кросс-сейлов — здесь нечего купить.
Начать →▌ Гайды по теме
Автор
Евгений Арсентьев
PhD · Руководитель ИИ-трансформации
Статьи · Свежие статьи