С 2023 года крупнейшие ИИ-компании начали активно сканировать интернет для обучения своих моделей и предоставления актуальных ответов пользователям. Каждый из этих ботов имеет свой User-Agent, который можно обнаружить в логах сервера и контролировать через файл robots.txt.
Ниже — актуализированный справочник известных ИИ-краулеров по состоянию на июль 2026 года.
Главное обновление 2026 года
У крупных ИИ-платформ теперь разделены боты для обучения, поиска и запросов пользователя. OpenAI используетOAI-SearchBot для поиска, Anthropic — Claude-SearchBot иClaude-User, а Perplexity разделяет PerplexityBot иPerplexity-User. Настраивать их одной общей директивой уже недостаточно.
Проверяйте назначения в справке OpenAI,справке Anthropic идокументации Perplexity.
1. GPTBot (OpenAI)
| Компания | OpenAI |
| User-Agent | GPTBot/1.0 |
| Назначение | Сбор данных для обучения моделей GPT и будущих продуктов OpenAI |
| IP-диапазоны | Публикуются на openai.com/gptbot-ranges.txt |
GPTBot — основной краулер OpenAI для обучения. Если вы хотите, чтобы ваш контент попадал в обучающую выборку GPT, не блокируйте его. Если не хотите — добавьте в robots.txt:
User-agent: GPTBot
Disallow: /2. ChatGPT-User (OpenAI)
| Компания | OpenAI |
| User-Agent | ChatGPT-User |
| Назначение | Получение актуального контента по запросам пользователей ChatGPT в реальном времени (browsing mode) |
Этот бот отличается от GPTBot: он не собирает данные для обучения, а загружает страницы по прямому запросу пользователя ChatGPT. Блокировка этого бота означает, что ChatGPT не сможет цитировать ваш контент в ответах.
3. ClaudeBot (Anthropic)
| Компания | Anthropic |
| User-Agent | ClaudeBot/1.0 |
| Назначение | Сбор данных для обучения модели Claude |
User-agent: ClaudeBot
Disallow: /4. anthropic-ai (Anthropic)
| Компания | Anthropic |
| User-Agent | anthropic-ai |
| Назначение | Дополнительный краулер Anthropic для получения контента |
5. Google-Extended (Google)
| Компания | Google (DeepMind) |
| robots.txt token | Google-Extended |
| Назначение | Управление использованием контента, полученного краулерами Google, для обучения и grounding некоторых моделей Gemini |
Google-Extended — не отдельный HTTP User-Agent, а управляющий token для robots.txt. Его блокировка не влияет на индексацию и ранжирование в Google Search. Это позволяет разрешить обычный поиск, но ограничить отдельные сценарии использования контента Gemini.
User-agent: Google-Extended
Disallow: /6. Bytespider (ByteDance / TikTok)
| Компания | ByteDance (TikTok) |
| User-Agent | Bytespider |
| Назначение | Сбор данных для обучения языковых моделей ByteDance |
Bytespider — один из самых агрессивных краулеров. Многие сайты блокируют его из-за высокой нагрузки на сервер.
7. CCBot (Common Crawl)
| Компания | Common Crawl Foundation (некоммерческая) |
| User-Agent | CCBot/2.0 |
| Назначение | Открытый датасет для обучения ИИ. Используется сотнями исследовательских организаций |
Данные Common Crawl лежат в основе обучающих выборок большинства крупных LLM, включая GPT, LLaMA, Falcon и др. Блокировка CCBot эффективно удаляет ваш контент из будущих датасетов.
8. PerplexityBot (Perplexity AI)
| Компания | Perplexity AI |
| User-Agent | PerplexityBot |
| Назначение | Индексация контента для ИИ-поисковика Perplexity |
Perplexity — ИИ-поисковик, который генерирует ответы с цитированием источников. Разрешение доступа означает, что ваш сайт может появиться в ответах Perplexity с обратной ссылкой.
9. Amazonbot (Amazon)
| Компания | Amazon |
| User-Agent | Amazonbot |
| Назначение | Сбор данных для Alexa и ИИ-сервисов Amazon |
10. FacebookBot (Meta)
| Компания | Meta (Facebook) |
| User-Agent | FacebookBot |
| Назначение | Сбор данных для обучения LLaMA и других ИИ-моделей Meta |
11. Другие известные боты
| Бот | Компания | Назначение |
|---|---|---|
Applebot-Extended | Apple | Обучение ИИ-функций Apple (Siri, Apple Intelligence) |
cohere-ai | Cohere | Обучение моделей Cohere |
Diffbot | Diffbot | Структурированное извлечение данных для Knowledge Graph |
ImagesiftBot | Imagesift | Сбор изображений для обучения vision-моделей |
Omgilibot | Omgili / Webz.io | Краулинг форумов и UGC-контента |
YouBot | You.com | ИИ-поисковик You.com |
Как управлять доступом ИИ-ботов
Через robots.txt
Самый простой способ — указать правила в robots.txt. Каждый уважающий стандарты бот проверяет этот файл перед краулингом.
# Разрешить всех ИИ-ботов
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: Google-Extended
Allow: /
# Заблокировать агрессивных ботов
User-agent: Bytespider
Disallow: /
User-agent: CCBot
Disallow: /Через llms.txt
Формат llms.txt позволяет не только описать доступный контекст, но и предоставить ИИ структурированную информацию о вашем сайте. Это более продвинутый подход, чем простая блокировка через robots.txt.
Файл llms.txt размещается в корне сайта и содержит краткое описание продукта, ключевые ссылки и рекомендации для ИИ-агентов.
Через ai.txt
Ещё один формат — ai.txt, который определяет правила использования контента для обучения ИИ. Позволяет явно указать, разрешено ли обучение на вашем контенте.
Рекомендации
- Не блокируйте всех ИИ-ботов — это может привести к тому, что ваш контент исчезнет из ответов ChatGPT, Claude, Perplexity и других ИИ-систем. В 2026 году это уже означает потерю трафика.
- Разрешайте chatbot-режим — боты вроде ChatGPT-User показывают ваш сайт пользователям с обратной ссылкой. Это бесплатный трафик.
- Используйте llms.txt — дайте ИИ структурированную информацию о своём продукте. Это повышает качество ответов, в которых упоминается ваш сайт.
- Мониторьте логи — проверяйте, какие боты и как часто обращаются к вашему сайту. Если какой-то бот создаёт избыточную нагрузку — блокируйте его.
- Проведите аудит — используйте инструмент аудита llmsmap.ru, чтобы проверить, как ваш сайт настроен для ИИ-краулеров.
Итог
ИИ-краулеры стали неотъемлемой частью современного веба. Правильная настройка доступа для ИИ-ботов — это баланс между защитой контента и получением трафика из ИИ-систем. Формат llms.txt помогает сделать этот баланс осознанным, но сам по себе не гарантирует обход или цитирование.
Добавьте свой сайт в каталог llmsmap.ru, чтобы продемонстрировать готовность к ИИ-эпохе.