Cloudflare и ИИ-боты: как разрешить, запретить или ограничить краулеры нейросетей

Если сайт работает через Cloudflare, политика для ИИ-краулеров начинается не с файла robots.txt, а на границе сети. Cloudflare видит запрос раньше вашего сервера, поэтому одна настройка может решить, дойдут ли до страницы GPTBot, ClaudeBot, PerplexityBot или поисковый краулер нейросети. Это удобно и опасно: так сайты случайно исчезают из ответов ИИ-поиска.

В статье разберём раздел AI Crawl Control, действия «разрешить», «заблокировать» и «брать плату», управляемый robots.txt, сигналы использования контента (Content Signals) и безопасную схему для большинства сайтов. Все описания взяты из документации Cloudflare на ноябрь 2026 года. Названия пунктов меню меняются, поэтому сверяйтесь с вашим кабинетом.

Что такое AI Crawl Control

AI Crawl Control это раздел панели Cloudflare для доменов, подключённых к сервису. По описанию Cloudflare, он позволяет:

• видеть, какие ИИ-сервисы обращаются к вашему контенту;
• задавать правила «разрешить» или «заблокировать» для отдельных краулеров;
• отслеживать, какие краулеры соблюдают директивы robots.txt, а какие игнорируют;
• изучать монетизацию через pay per crawl (оплату за обход), которая описана как закрытая бета;
• пользоваться разделом без настройки на всех тарифах.

Раздел опирается на программу проверенных ботов (verified bots). У каждого проверенного бота есть категория: ИИ-краулер, ИИ-ассистент, поисковый краулер, архиватор и другие. Раньше проверенные боты исключались из стандартных настроек на всех тарифах. Теперь любой клиент может отдельно задать политику для ИИ-краулеров и ИИ-агентов.

Три вида ИИ-трафика

Прежде чем что-то переключать, решите, какой трафик вам нужен. Одна компания часто держит несколько ботов с разными задачами.

Назначение	Что делает	Примеры	Типичное решение
Обучение моделей	Собирает контент, который может использоваться для обучения	GPTBot, ClaudeBot, CCBot, Bytespider	Разрешить, запретить или брать плату: зависит от стратегии
ИИ-поиск	Строит индекс, на который нейросеть ссылается в ответах	OAI-SearchBot, Claude-SearchBot, PerplexityBot	Обычно разрешить, если нужны цитирования и переходы
Запрос пользователя	Открывает страницу, потому что человек попросил ассистента	ChatGPT-User, Claude-User, Perplexity-User	Обычно разрешить: блокировка ломает запросы «перескажи страницу»

Формулировка Cloudflare: разрешайте краулеры, которые дают ценность через цитирование, переходы или договорённости, и блокируйте те, чьё поведение не соответствует вашей стратегии или нарушает ваши правила.

Где найти настройки

По документации:

1. Войдите в панель Cloudflare и выберите аккаунт и домен.
2. Откройте AI Crawl Control.
3. Вкладка Crawlers показывает таблицу краулеров, Directives даёт сведения о robots.txt, Settings содержит настройки ответа при блокировке.

В таблице Crawlers для каждого краулера указаны название и оператор, категория, число разрешённых и неуспешных запросов с графиком, число нарушений robots.txt и выбранное действие. Таблицу можно фильтровать по имени, оператору и категории.

Нюанс из документации: в колонке запросов неуспешные запросы могут появляться из любого правила или ошибки ответа, а не только из блокировки в AI Crawl Control. Если число выглядит высоким, сначала проверьте остальные правила WAF.

Действия: разрешить, заблокировать, брать плату

Разрешить

Краулер может обходить контент. Поверх разрешения можно включить соблюдение robots.txt, чтобы краулер читал одни разделы и не читал другие.

Заблокировать

Блокировка останавливает краулер на границе сети. Когда вы блокируете краулер в AI Crawl Control, Cloudflare создаёт или обновляет пользовательское правило WAF для этого домена. Из этого следует два вывода:

• блокировка действует на уровне сети, в отличие от robots.txt, который держится на добровольном соблюдении;
• правило можно расширить в WAF самостоятельно: например, добавить исключения для путей или дополнительные User-Agent.

На платных тарифах можно настроить ответ при блокировке: код 403 Forbidden («доступ запрещён») или 402 Payment Required («нужна оплата»), а также текст ответа. Cloudflare советует использовать текст, чтобы объяснить оператору краулера, как получить лицензию на ваш контент.

Брать плату (закрытая бета)

Действие Charge позволяет назначить плату за каждый успешный запрос краулера. Cloudflare называет pay per crawl закрытой бетой, поэтому большинству сайтов оно сейчас недоступно. Если вы не в бете, ближайший доступный сигнал это ответ 402.

Управляемый robots.txt

Robots.txt добровольный. Документация Cloudflare прямо говорит: некоторые операторы краулеров могут игнорировать директивы вроде Disallow: /. Но файл остаётся стандартным способом заявить свои предпочтения, и Cloudflare предлагает управляемую версию.

Если функция включена:

• когда на вашем сервере уже есть robots.txt с ответом 200, Cloudflare добавляет свой управляемый блок перед вашим содержимым и отдаёт оба как один файл;
• когда файла нет, Cloudflare создаёт его с управляемыми правилами Disallow для известных ИИ-краулеров.

В примере из документации управляемое содержимое включает вступление о сигналах Content Signals, строку Content-signal: search=yes, ai-train=no для всех User-Agent и правила Disallow: / для краулеров вроде Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent.

Обратите внимание: в этом примере нет блокировки Googlebot, Bingbot и поисковых краулеров нейросетей. Правила нацелены на краулеры, которые собирают данные для обучения. Яндекс-краулеры в примере не упоминаются, поэтому их доступ нужно проверять отдельно.

Как включить

Путь по документации:

1. В панели откройте Security Settings для домена.
2. Отфильтруйте по Bot traffic.
3. Выберите AI Crawler and Agent access policies.
4. Для Training выберите Disallow.
5. Включите Enable Bot Preference Sync.
6. Сохраните.

При включённой синхронизации значение Training = Disallow добавляет управляемые директивы и включает блокировку на границе сети для краулеров обучения. Смешанные краулеры из блокировки исключены. Политики Search и Agent добавляют свои директивы, когда им задано Block или «Block on pages with ads».

Последняя фраза важна: значение Block в политике Search с наибольшей вероятностью уберёт ваши страницы из ответов нейросетей. Трогайте её только осознанно.

Content Signals простыми словами

Content Signals это машиночитаемые строки в robots.txt, которые заявляют, как можно использовать контент. Их три:

Сигнал	Значение
search	Построение поискового индекса и показ ссылок и коротких фрагментов. Не включает ИИ-сводки в поиске
ai-input	Передача контента в модели для ответов в реальном времени (RAG, grounding)
ai-train	Обучение или дообучение моделей

Значение yes разрешает такое использование, no запрещает, а отсутствие сигнала означает, что владелец сайта ничего не разрешает и не запрещает. В преамбуле Cloudflare также говорится, что ограничения являются прямой оговоркой прав по статье 4 директивы ЕС 2019/790 об авторском праве на едином цифровом рынке. Насколько это работает юридически в вашей ситуации, вопрос к юристу, а не к настройкам.

Документация отмечает ещё одну деталь: домены на бесплатном тарифе без собственного robots.txt и без управляемой функции показывают краулерам текст Content Signals Policy. Он описывает категории, но не заявляет предпочтений. Чтобы заявить, например, ai-train=no, настройте политики доступа и включите Bot Preference Sync.

Вкладка Directives

Вкладка Directives показывает, что с вашим robots.txt всё в порядке:

• управляет ли Cloudflare файлом;
• таблица Robots.txt availability: число запросов, код ответа файла и наличие Content Signals;
• таблица Robots.txt violations: краулеры, запросившие запрещённые пути, с точной директивой и числом нарушений.

Что делать по документации. Если статус 404, создайте robots.txt. Если файл есть, но краулеры получают ошибки, проверьте правила WAF и другие настройки безопасности выше по цепочке. Если краулер нарушает директивы, его можно заблокировать на вкладке Crawlers, создать правило WAF для конкретных путей или направить его Redirect Rules в подходящую часть сайта.

Есть и карточка Agent Readiness: она проверяет сайт по новым стандартам для ИИ-агентов, включая корректный robots.txt, выдачу markdown по согласованию содержимого и Content Signals. Проверку выполняет сервис isitagentready.com.

Разумная политика для контентного сайта

Если цель в присутствии в ИИ-поиске с контролем над обучением, подойдёт такая схема:

1. Оставьте разрешёнными краулеры поиска и ретривала: OAI-SearchBot, PerplexityBot и похожие. Через них нейросети находят страницы для цитирования.
2. Оставьте разрешёнными запросы пользователей: ChatGPT-User, Claude-User, Perplexity-User.
3. Решите отдельно про краулеры обучения. Запретите, если не хотите, чтобы текст использовался для обучения. Это бизнес-решение, а не мера безопасности.
4. Если у вас нет своего robots.txt, включите управляемый: так проще заявить политику и сигналы.
5. Настройте ответ при блокировке на платном тарифе, если блокируете краулеры.
6. Раз в месяц смотрите таблицу нарушений и жёстко ограничивайте только тех, кто игнорирует правила.

Если у вас платный продукт, закрытая документация или лицензируемый контент, расчёт другой: запретите краулеры обучения, закройте приватное авторизацией и подумайте о платном доступе, если подходите для беты.

Типичные ошибки

Блокировать всё, что помечено как ИИ. Многие сервисы держат отдельные боты для обучения и для поиска. Общая блокировка убирает вас оттуда, где вы хотите быть.

Считать robots.txt защитой. Это просьба. Для жёсткого запрета нужно правило WAF, которое создаёт действие Block.

Забыть, что проверка бота может остановить и хороших ботов. Если перед теми же путями стоят строгие настройки защиты от ботов, убедитесь реальным запросом, что разрешённые краулеры получают 200.

Не проверить после изменения. После смены политики запросите страницу с User-Agent нужного краулера и посмотрите ответ. Такая проверка не доказывает, что запрос пройдёт проверку подлинности Cloudflare, но быстро выявляет правило с неверным статусом. Затем несколько дней наблюдайте таблицу Crawlers.

Не учитывать сервер и другие CDN. Cloudflare защищает границу сети. Если на сервере или в другом CDN есть свои правила для ботов, итог может отличаться от показаний AI Crawl Control.

Как проверить результат

1. Откройте https://ваш-сайт/robots.txt и убедитесь, что нужные Content Signals и Disallow на месте.
2. Запустите аудит llmsmap: он покажет, каких ИИ-ботов разрешает robots.txt и доступен ли llms.txt.
3. В AI Crawl Control проверьте, что действия в таблице соответствуют политике.
4. Через неделю сравните число запросов от разрешённых краулеров. Резкое падение до нуля у разрешённого краулера обычно означает, что его блокирует другое правило.
5. В аналитике следите за переходами из нейросетей: способы описаны в статье про трафик из нейросетей в Метрике и GA4.

Подробнее про конкретные User-Agent и блоки robots.txt читайте в статьях Как настроить robots.txt для ИИ-ботов и Как запретить нейросетям индексировать сайт, а справочник ботов лежит в разделе краулеров.

Вопросы и ответы

Работает ли AI Crawl Control на бесплатном тарифе?

По документации Cloudflare, раздел работает на всех тарифах, а управляемый robots.txt доступен на всех тарифах. Некоторые возможности, например настройка ответа при блокировке, описаны как платные.

Блокировка в AI Crawl Control то же самое, что Disallow в robots.txt?

Нет. Disallow это заявленное предпочтение, которому следуют добросовестные краулеры. Действие Block создаёт правило WAF, которое останавливает подходящие запросы на границе сети независимо от того, соблюдает ли краулер robots.txt.

Повредит ли блокировка краулеров обучения позициям в Google?

Управляемый robots.txt из документации Cloudflare нацелен на краулеры обучения и не блокирует Googlebot. Google-Extended это управляющий токен для использования контента в некоторых ИИ-продуктах Google, и он не меняет обход для поиска. Перед решением сверяйтесь с актуальной документацией Google.

Можно ли разрешить краулер на одних путях и запретить на других?

Да. Расширьте созданное правило WAF условиями по пути или используйте правила путей в robots.txt вместе с действием «разрешить».

Что такое pay per crawl?

Это механизм Cloudflare для оплаты краулером каждого успешного запроса. Cloudflare описывает его как закрытую бету, поэтому проверьте в кабинете, доступно ли оно вам.

Нужно ли при этом публиковать llms.txt?

Это разные задачи. Политики Cloudflare управляют доступом, а llms.txt это формат-указатель, который агенты могут читать. Гарантии использования он не даёт. Сравнение есть на странице стандартов, а об изменениях в формате написано в статье llms.txt версии 2.

Итоги

AI Crawl Control даёт действия «разрешить», «заблокировать» и «брать плату» для каждого краулера, управляемый robots.txt с Content Signals и сведения о нарушителях. Разделите краулеры обучения, поиска и запросов пользователей, оставьте те, что приводят цитирования, и проверяйте результат реальным запросом. Robots.txt это заявление о предпочтениях, а правило WAF это принуждение.