Большинство ИИ-систем ответов используют собственного краулера с уникальным user agent, отдельного от Googlebot. robots.txt - это простой текстовый файл в корне домена, который сообщает каждому из этих краулеров, можно ли им обращаться к вашим страницам. Заблокируйте его случайно - и у этой системы не останется ничего вашего для цитирования. Это первый пункт для проверки, потому что все остальные инструкции в этой библиотеке предполагают, что ИИ-краулеры уже могут достучаться до вашего сайта.
Почему это важно для AEO. ChatGPT (GPTBot), Claude (ClaudeBot), Perplexity (PerplexityBot) и Google AI Overviews (Google-Extended) отправляют собственных именованных краулеров. Если robots.txt блокирует или не упоминает одного из них, ваш контент невидим для этой системы - независимо от его качества.
Как это сделать
- Откройте yourdomain.com/robots.txt в браузере.
- Убедитесь, что нет правила "Disallow: /" под User-agent: * или конкретно под GPTBot, ClaudeBot, PerplexityBot, Google-Extended, OAI-SearchBot или Applebot-Extended.
- Если у вашего CDN или CMS (Cloudflare, Vercel, плагины безопасности WordPress) есть переключатель блокировки ИИ-скрейперов, явно разрешите эти краулеры, даже если блокируете обычные.
- Перепроверяйте после любых изменений CDN или WAF - средства безопасности часто добавляют новые правила для ботов незаметно, при обновлениях.
Как проверить. Выполните curl -A "GPTBot" yourdomain.com/robots.txt и убедитесь, что ни одно правило Disallow не совпадает с путями ваших страниц.
Пример
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /