Перейти к содержимому
Скидка 20% на первый платёж по промокоду Скидка 20% на первый платёж WELCOME20
Войти Триал на 3 дня

Гайд по видимости в ИИ

GPTBot:
как разрешить или заблокировать в robots.txt

GPTBot - краулер OpenAI для обучения моделей. Чем он отличается от OAI-SearchBot и ChatGPT-User и какие правила robots.txt его разрешают или блокируют.

~10 мин · Обновлено 15 октября 2026 г.

Краулинг

GPTBot - краулер OpenAI, собирающий контент, который может пойти на обучение её генеративных моделей. Чтобы разрешить его, не упоминайте его в robots.txt или дайте Allow: /, чтобы заблокировать - Disallow: /. Это решение касается только обучения. Поиск ChatGPT работает через второго краулера, OAI-SearchBot, а запросы, которые человек запускает внутри ChatGPT, приходят от третьего, ChatGPT-User, так что по каждому решение своё.

В нашем robots.txt 22 строки User-agent, и GPTBot, OAI-SearchBot и ChatGPT-User прямо разрешены через Allow: / (проверено 15.10.2026). Мы открыли всё, потому что продаём отслеживание видимости в ИИ. Издателю с платным контентом разумно выбрать иначе. Чтобы увидеть своё положение, бесплатный сканер сайта AskAiRank проверяет по вашему robots.txt девять токенов ИИ-краулеров, среди них GPTBot.

Почему это важно для AEO. GPTBot - краулер, которым OpenAI собирает контент, возможно используемый для обучения её генеративных моделей. Это один из трёх user-agent OpenAI, и robots.txt управляет каждым отдельно: GPTBot отвечает за обучение, OAI-SearchBot за поисковую выдачу ChatGPT, ChatGPT-User за действия, которые человек запускает внутри ChatGPT. Если считать их одним переключателем, можно оставить обучение открытым, хотя хотели отказаться, или незаметно пропасть из поиска ChatGPT.

Как это сделать

  1. Откройте yourdomain.com/robots.txt и посмотрите, у кого из GPTBot, OAI-SearchBot и ChatGPT-User есть своя группа правил. Бот без своей группы следует правилам `User-agent: *`.
  2. Решите по каждому боту отдельно. Разрешите OAI-SearchBot, если хотите показываться в поиске ChatGPT. GPTBot разрешайте или запрещайте в зависимости от того, готовы ли вы к обучению моделей на ваших страницах. OpenAI пишет, что настройки независимы друг от друга.
  3. Напишите по одной группе на каждого бота: `Allow: /` или `Disallow: /`. Чтобы ограничить бота частью сайта, добавьте правила по путям, например `Disallow: /drafts/`. При пересечении правил побеждает самое длинное совпадение (RFC 9309).
  4. Проверьте CDN, файрвол и защитные плагины. robots.txt - просьба, а не контроль доступа, поэтому правило файрвола всё равно может отвечать 403 боту, которого вы разрешили.
  5. Подождите сутки. OpenAI сообщает, что поисковым системам нужно около 24 часов, чтобы учесть изменения в robots.txt.

Как проверить. Найдите в логах доступа user-agent GPTBot и OAI-SearchBot. Разрешённые пути должны отдавать 200, а запрещённые после изменения запрашиваться перестанут.

Пример

# Показываться в поиске ChatGPT
User-agent: OAI-SearchBot
Allow: /

# Отказаться только от обучения моделей
User-agent: GPTBot
Disallow: /

Ваш дашборд видимости в ИИ

Два человека в тёмной переговорной смотрят на дашборд AskAiRank на настенном экране

Примените на практике

Узнайте, как ваш SaaS-продукт отображается в ChatGPT, Claude и Perplexity.

Начать 3-дневный триал

FAQ

Часто задаваемые вопросы

Быстрые ответы про «gptbot: как разрешить или заблокировать в robots.txt».

Что такое GPTBot?

Это веб-краулер OpenAI, который собирает контент, возможно используемый для обучения генеративных моделей. В robots.txt им управляет тег GPTBot.

Если заблокировать GPTBot, пропаду ли я из ChatGPT?

Из поиска нет. Поисковую выдачу ChatGPT формирует отдельный краулер OAI-SearchBot. По словам OpenAI, сайты, закрывшие OAI-SearchBot, не появятся в ответах поиска ChatGPT, но могут остаться в виде навигационных ссылок.

Соблюдает ли ChatGPT-User robots.txt?

Не всегда. OpenAI пишет, что ChatGPT-User выполняет действия, которые запускает человек в ChatGPT, не обходит сеть автоматически, и правила robots.txt к нему могут не применяться.

Хватит ли robots.txt, чтобы скрыть контент?

Нет. В RFC 9309 сказано, что эти правила не являются способом авторизации доступа. Всё приватное закрывайте логином.

А что с ClaudeBot, PerplexityBot и Google-Extended?

У каждого свой токен. Anthropic использует ClaudeBot для обучающих данных, Claude-SearchBot для поиска и Claude-User для запросов пользователей. PerplexityBot показывает сайты в поиске Perplexity, а Perplexity-User в целом игнорирует robots.txt, потому что страницу запросил человек. Google-Extended управляет только использованием контента для обучения Gemini, и, по словам Google, на попадание в Google Поиск не влияет.

Основатель поздно вечером работает за тремя мониторами

Отслеживайте видимость в ИИ

Узнайте, как ваш SaaS-продукт отображается в ChatGPT, Claude и Perplexity.

3-дневный триал без карты: 10 промптов в ChatGPT и DeepSeek, проверка раз в день.

Начать 3-дневный триал К гайдам