AI-краулер

AI-краулер — поисковый робот компании, которая делает языковые модели или AI-поиск. Одни роботы собирают данные для обучения, другие загружают страницы в момент ответа пользователю. Если сайт закрыт от них в robots.txt или на уровне файрвола, страницы не попадут в ответ со ссылкой, даже если отлично ранжируются в обычном поиске.

Основные роботы

• OpenAI: GPTBot — сбор данных для обучения; OAI-SearchBot — поиск в ChatGPT; ChatGPT-User — загрузка страницы по запросу пользователя.
• Anthropic: ClaudeBot и связанные с ним агенты.
• Perplexity: PerplexityBot для индекса ответов.
• Google: ответы AI Overviews и AI Mode строятся на обычном индексе Googlebot; токен Google-Extended в robots.txt управляет использованием контента для обучения Gemini.
• Яндекс: Алиса и Нейро опираются на индекс YandexBot — закрыть сайт от него значит пропасть и из поиска, и из ответов.

Что проверить

• robots.txt: нет ли общего Disallow для перечисленных агентов, который остался от старых настроек.
• Защиту от ботов у хостинга или CDN: она часто блокирует AI-краулеров без правки robots.txt.
• Что робот видит без JavaScript: если контент появляется только после выполнения скриптов, часть роботов увидит пустую страницу.