Как настроить robots.txt для ИИ-ботов: разрешить полезных, заблокировать агрессивных

Файл robots.txt — классический инструмент управления краулингом, который существует с 1994 года. Но с появлением ИИ-краулеров (GPTBot, ClaudeBot, Bytespider и других) его роль изменилась: теперь robots.txt решает не только то, какие поисковые роботы обходят ваш сайт, но и какие нейросети используют ваш контент.

В этой статье — готовые конфигурации robots.txt для разных сценариев: от полного разрешения до выборочной блокировки. Если вы не знакомы с ИИ-краулерами — прочитайте справочник ИИ-ботов.

Два типа ИИ-краулеров

Прежде чем настраивать robots.txt, важно понять разницу между двумя типами ботов:

Ключевая разница: блокировка training-краулера означает, что ваш контент не попадёт в обучающую выборку модели. Блокировка live-краулера означает, что модель не сможет процитировать вашу страницу с обратной ссылкой при ответе пользователю.

Готовые конфигурации

Сценарий 1: Разрешить всех ИИ-ботов

Максимальная видимость. Ваш контент используется и для обучения моделей, и для цитирования в ответах.

# ИИ-краулеры: разрешить всё
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: FacebookBot
Allow: /

User-agent: CCBot
Allow: /

Когда использовать: вы хотите максимальную видимость в ИИ-системах, готовы к тому, что контент используется для обучения, и хотите получать трафик из ИИ-поисковиков.

Сценарий 2: Разрешить цитирование, запретить обучение

Балансный подход: ваш сайт появляется в ответах ChatGPT и Perplexity с обратной ссылкой, но контент не используется для обучения моделей.

# Разрешить live-краулеры (цитирование)
User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

# Запретить training-краулеры (обучение)
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: FacebookBot
Disallow: /

Когда использовать: вы хотите трафик из ИИ-поисковиков, но не хотите, чтобы ваш контент стал частью обучающих данных.

Сценарий 3: Выборочная блокировка агрессивных ботов

Разрешить большинство ботов, но заблокировать тех, кто создаёт чрезмерную нагрузку на сервер.

# Разрешить полезных ботов
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Заблокировать агрессивных
User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

Когда использовать: Bytespider (ByteDance/TikTok) известен агрессивным краулингом, а CCBot (Common Crawl) собирает данные в открытые датасеты. Если серверные ресурсы ограничены — это разумный компромисс.

Сценарий 4: Полная блокировка всех ИИ-ботов

# Полная блокировка ИИ-краулеров
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Amazonbot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Когда использовать: вы не хотите, чтобы ИИ-системы использовали ваш контент ни в каком виде. Но учтите: это означает, что ваш сайт не будет появляться в ответах ChatGPT, Perplexity и других ИИ-поисковиков.

Частичная блокировка: защита отдельных разделов

Не обязательно блокировать весь сайт. Можно закрыть только определённые разделы:

# Разрешить ИИ-ботам основной контент
User-agent: GPTBot
Allow: /blog/
Allow: /docs/
Allow: /about/
Disallow: /admin/
Disallow: /private/
Disallow: /api/

User-agent: ChatGPT-User
Allow: /
Disallow: /admin/
Disallow: /api/

Важные нюансы

robots.txt — это рекомендация, а не закон

Стандарт robots.txt (RFC 9309) — это добровольный протокол. Уважающие стандарты боты (GPTBot, ClaudeBot, Google-Extended) соблюдают его. Но не все краулеры это делают. Для гарантированной блокировки используйте:

• Блокировку по IP-адресам ботов (если публикуются — например, у OpenAI).
• Анализ User-Agent в логах сервера.
• WAF (Web Application Firewall) для фильтрации трафика.

robots.txt не влияет на индексацию Google Search

Блокировка Google-Extended не влияет на обычную индексацию Googlebot. Это отдельный бот для ИИ-обучения. Ваши позиции в Google Search останутся прежними.

Не забудьте про llms.txt

Файл robots.txt управляет доступом, а llms.txt управляет содержимым. Они работают в паре:

• robots.txt отвечает: «можно ли заходить?»
• llms.txt отвечает: «что найдёшь, когда зайдёшь?»

Подробнее о файле llms.txt — в вводной статье и инструкции по созданию.

Как проверить свою конфигурацию

1. Откройте вашсайт.ru/robots.txt в браузере — проверьте, что директивы для ИИ-ботов на месте.
2. Проверьте логи — убедитесь, что заблокированные боты действительно не обходят сайт (по User-Agent).
3. Используйте аудит — инструмент аудита llmsmap.ru проверяет robots.txt на наличие директив для ИИ-ботов.

Рекомендуемая конфигурация

Для большинства сайтов мы рекомендуем Сценарий 2: разрешить цитирование (ChatGPT-User, PerplexityBot), но ограничить обучение на вашем контенте. Это даёт вам трафик из ИИ-поисковиков, но защищает контент от использования в обучающих выборках.

Если ваш бизнес зависит от видимости в ИИ-системах (SaaS, документация, блог) — выбирайте Сценарий 1 и дополняйте его файлом llms.txt для максимального эффекта.

Добавьте свой сайт в каталог llmsmap.ru, чтобы проверить, правильно ли настроены ваши файлы для ИИ-краулеров.