Прозрачность краулинга
Краулеры и User-Agent LLMSMap
Эти идентификаторы позволяют отличить запросы LLMSMap в логах веб-сервера, CDN, отчётах по ботам и SEO-краулерам.
Поиск для каталога
Проверяет публичные домены-кандидаты и машиночитаемые файлы до помещения сайта в очередь каталога.
LLMSMap-RU-Discovery/1.0 (+https://llmsmap.ru/crawlers/)Аудит ИИ-готовности
Читает публичную главную страницу, robots.txt, llms.txt, llms-full.txt и ai.txt для технического аудита.
LLMSMap-RU-Audit/1.0 (+https://llmsmap.ru/crawlers/)Политика запросов
- Запрашиваются только публичные HTTP- и HTTPS-ресурсы.
- Краулеры не авторизуются, не отправляют формы и не входят в закрытые разделы.
- Используются ограниченные таймауты, лимиты размера ответа и контролируемая параллельность.
- User-Agent аудита отделён от поиска, чтобы трафик можно было корректно классифицировать.