Запретить нейросетям использовать сайт можно, но сначала нужно решить, от чего именно вы закрываетесь. У одной компании бывает три разных робота: один собирает тексты для обучения моделей, второй индексирует страницы для поиска внутри чат-бота, третий открывает страницу, когда пользователь сам попросил ассистента её прочитать. Если закрыть всех подряд, сайт пропадёт из ответов ChatGPT, Perplexity и Алисы вместе со ссылками на вас.
Ниже — список официальных user-agent, готовые блоки для robots.txt и способы закрыться жёстче, если вежливого запрета мало. Сценарии «разрешить полезных, закрыть агрессивных» подробно разобраны в статье robots.txt для ИИ-ботов.
Три типа ИИ-роботов
| Тип | Что делает | Что будет при запрете |
|---|---|---|
| Обучение | Собирает тексты, которые могут попасть в обучающие данные моделей | Новые материалы не используются для обучения. На ссылки в ответах почти не влияет |
| Поиск | Индексирует страницы для поиска внутри ассистента | Сайт перестаёт появляться источником в ответах с поиском |
| Запрос пользователя | Открывает страницу, когда человек попросил ассистента прочитать ссылку | Ассистент не сможет открыть ваш URL по просьбе пользователя |
Официальные user-agent нейросетей
| Токен в robots.txt | Компания | Назначение |
|---|---|---|
GPTBot | OpenAI | Сбор данных для обучения моделей |
OAI-SearchBot | OpenAI | Показ сайтов в поиске ChatGPT |
ChatGPT-User | OpenAI | Действия пользователя в ChatGPT и GPTs |
ClaudeBot | Anthropic | Сбор данных для обучения моделей |
Claude-SearchBot | Anthropic | Индексация для поиска Claude |
Claude-User | Anthropic | Загрузка страниц по запросу пользователя |
PerplexityBot | Perplexity | Показ и ссылки в поиске Perplexity, не для обучения |
Perplexity-User | Perplexity | Загрузка страниц по запросу пользователя |
Google-Extended | Использование контента для обучения Gemini и grounding в Gemini Apps | |
Applebot-Extended | Apple | Использование контента для обучения моделей Apple |
YandexAdditional | Яндекс | Показ контента в быстрых ответах YandexGPT и в Поиске с Алисой |
CCBot | Common Crawl | Открытый веб-архив, на котором учатся многие модели |
Bytespider | ByteDance | Сбор данных для моделей ByteDance |
meta-externalagent | Meta | Сбор данных для ИИ-продуктов Meta |
Важная деталь: Google-Extended и YandexAdditional — это не отдельные роботы, а управляющие токены. Сайт по-прежнему обходит Googlebot или YandexBot, а токен лишь сообщает, можно ли использовать контент в ИИ-функциях. Поэтому их запрет не убирает сайт из обычной выдачи. Полный список ботов с описаниями — в справочнике ИИ-краулеров.
Вариант 1: запретить только обучение
Самый частый и разумный выбор для СМИ, блогов и экспертных сайтов: модели не учатся на ваших текстах, но ассистенты с поиском продолжают ссылаться на сайт.
# Запрет обучения моделей
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: meta-externalagent
Disallow: /
# Поиск в ассистентах разрешён
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Вариант 2: закрыть сайт от всех нейросетей
Подходит для закрытых баз знаний, платного контента и сайтов, которым ИИ-трафик не нужен совсем. Обычные поисковые роботы Яндекса и Google при этом продолжают работать.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: YandexAdditional
User-agent: CCBot
User-agent: Bytespider
User-agent: meta-externalagent
Disallow: /Несколько строк User-agent подряд образуют одну группу, и правило Disallow применяется ко всем перечисленным ботам. Это короче, чем дублировать блок для каждого.
Вариант 3: закрыть только часть сайта
Например, оставить открытыми каталог и статьи, но закрыть платные материалы и личные кабинеты:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: YandexAdditional
Disallow: /premium/
Disallow: /account/
Allow: /Собрать такой файл без ручной работы можно в генераторе ai.txt — он формирует правила для ИИ-ботов, которые затем можно перенести в robots.txt.
Почему robots.txt может не сработать
- Это просьба, а не замок. Крупные компании официально соблюдают robots.txt, но неизвестные парсеры могут его игнорировать.
- Боты пользовательских запросов. OpenAI пишет, что для ChatGPT-User правила robots.txt могут не применяться, так как действие инициировал человек. Perplexity говорит то же самое про Perplexity-User.
- Запрет не удаляет уже собранное. Он действует на будущие обходы, а не на данные, попавшие в модели раньше.
- Опечатки и регистр путей. Ошибка в имени бота или лишний пробел делают правило бесполезным. Пути в Disallow чувствительны к регистру.
Жёсткая блокировка на сервере
Если нужно гарантированно не отдавать контент, блокируйте запросы по User-Agent на уровне веб-сервера или CDN. Пример для nginx:
map $http_user_agent $ai_bot {
default 0;
~*(GPTBot|ClaudeBot|CCBot|Bytespider|meta-externalagent) 1;
}
server {
if ($ai_bot) { return 403; }
}User-Agent легко подделать, поэтому для критичных данных добавляйте проверку по опубликованным IP-диапазонам (их публикуют OpenAI и Perplexity) или включайте защиту от ботов в CDN. Не блокируйте так Googlebot и YandexBot: Google-Extended и YandexAdditional работают только через robots.txt.
Как проверить, что запрет работает
- Откройте
https://ваш-сайт/robots.txtи убедитесь, что файл отдаётся с кодом 200. - Запустите аудит сайта: он покажет, какие из известных ИИ-ботов разрешены, а какие закрыты.
- Через 1–2 недели посмотрите логи сервера: заходы GPTBot и ClaudeBot должны прекратиться.
Что выбрать
Для большинства коммерческих сайтов полный запрет невыгоден: вы теряете ссылки из ассистентов, а конкуренты их получают. Оптимальный вариант — закрыть обучение и оставить поисковых ботов, а нейросетям, которым вы доверяете, дать понятную карту сайта через llms.txt. Посмотрите, как это сделали другие сайты, в примерах llms.txt.