На этой странице
Большинство основателей узнают о своей видимости в ChatGPT случайно. Кто-то в Slack-чате просит у модели порекомендовать инструменты в вашей категории, выкладывает скриншот ответа, и вашего продукта там нет. Это не мониторинг, это везение. Настоящий мониторинг бренда в ChatGPT означает, что вы прогоняете фиксированный набор вопросов покупателя по фиксированному расписанию и следите за тем, как двигаются цифры.
В этом гайде разбираем, как собрать такую систему, что именно записывать и как отличить реальное падение от обычного шума.
Что вы на самом деле измеряете
Позиции в Google позиционны и в основном стабильны. Спросите, где вы стоите сегодня и завтра, и получите примерно один и тот же ответ. Большие языковые модели работают иначе. Задайте ChatGPT один и тот же вопрос пять раз, и вы можете получить пять разных списков инструментов, в разном порядке и с разными названиями.
Поэтому единица измерения здесь не позиция. Это частота упоминаний: доля ответов, где встречается ваш бренд, среди N прогонов одного и того же промпта. Продукт, упомянутый в 4 прогонах из 10 по запросу “лучший AEO-инструмент для небольших команд”, имеет частоту упоминаний 40% на этом промпте. Это число сравнимо от недели к неделе, сравнимо с конкурентами и реагирует, когда вы что-то меняете на сайте.
Рядом с ним стоит фиксировать три дополнительные метрики:
- Позиция в списке. Оказаться первым в списке из восьми пунктов и восьмым это очень разные вещи, хотя и то, и другое считается упоминанием.
- Тональность. “X это добротный бюджетный вариант” и “X часто ругают за скудный набор интеграций” оба являются упоминаниями. Помогает только одно из них.
- Цитируемые источники. Когда включён веб-поиск, ChatGPT тянет данные с живых страниц. Эти URL показывают, какому именно контенту модель доверяет в вашей категории, и это самая пригодная к действию часть всего массива данных.
Почему разовые проверки вводят в заблуждение
Самая частая ошибка выглядит так: спросили ChatGPT один раз, увидели свой бренд и решили, что вы видимы. Или спросили один раз, не увидели и решили, что вы невидимы. Оба вывода сделаны на выборке из одного наблюдения в вероятностной системе.
Если ваша настоящая частота упоминаний на промпте равна 30%, то одна проверка с вероятностью 70% не покажет вам ничего. Прогоните три раза, и вы, скорее всего, увидите бренд один раз. Именно поэтому важен multi-sampling: повторяйте каждый промпт несколько раз за период измерения и записывайте соотношение, а не единичный исход.
Практический оптимум - от трёх до пяти сэмплов на промпт за прогон. Меньше трёх, и шум перевешивает сигнал. Больше пяти, и вы платите за точность, которая не изменит ни одного вашего решения.
Шаг 1: соберите набор отслеживаемых промптов
Набор промптов и есть весь эксперимент. Ошибётесь в нём, и всё, что идёт дальше, измеряет пустоту.
Пишите промпты так, как говорит покупатель, а не так, как маркетолог пишет ключевые слова. Четыре категории покрывают почти весь реальный спрос:
- Рекомендация в категории. “Какой инструмент для выставления счетов лучше для дизайнеров-фрилансеров?”
- Альтернативы. “Какие есть хорошие альтернативы Freshbooks для консультанта-одиночки?”
- От проблемы. “Как автоматически напоминать об оплате неоплаченных счетов, никого не нанимая?”
- Сравнение. “Сравни Wave и Invoice Ninja для агентства из двух человек.”
Промпты от проблемы основатели пропускают чаще всего, и как раз там конкуренция обычно самая мягкая. Под них ещё никто не оптимизируется.
Про объём: 20-50 промптов достаточно для одного продукта с одной понятной категорией. Меньше 15, и один странный промпт перекашивает всё среднее. Больше 100, и вы платите деньги за наблюдение за числом, с которым ничего не можете сделать. Более подробный разбор этого компромисса есть в нашем материале о том, как рассчитывается индекс видимости в ИИ.
Собрав набор, заморозьте его. Добавление или удаление промптов посреди квартала лишает вас возможности сравнивать периоды, а в этом весь смысл мониторинга. Держите отдельный список “кандидатов” и вносите изменения с фиксированной периодичностью, отмечая дату в журнале.
Шаг 2: выберите расписание и придерживайтесь его
Само расписание важно меньше, чем его постоянство. Выберите один из вариантов и держитесь за него:
| Периодичность | Кому подходит | Примерная стоимость API в месяц, 30 промптов x 3 сэмпла |
|---|---|---|
| Ежедневно | Конкурентные категории, активный контент-пуш | $5-15 на небольшой модели |
| Раз в 3 дня | Большинству инди-SaaS | $2-5 |
| Еженедельно | Медленным нишам, продуктам на ранней стадии | Меньше $2 |
Оценки предполагают дешёвый класс моделей и короткие ответы. Расходы быстро растут, если вы берёте много сэмплов, гоняете несколько ассистентов или используете модели покрупнее, поэтому поставьте жёсткий потолок расходов до того, как всё автоматизируете.
Запускайте в одно и то же время суток. Поведение модели может измениться после обновлений провайдера, и фиксированное время прогона делает такие сдвиги видимыми как ступеньку, а не размазывает их по всем данным.
Шаг 3: правильно логируйте каждый прогон
Что бы вы ни собрали, каждый отдельный прогон должен давать одну строку с полями: временная метка, текст промпта, версия модели, включён ли веб-поиск, полный сырой ответ, появился ли ваш бренд, ваша позиция, если появился, тональность, названные бренды конкурентов и все цитируемые URL.
Хранить сырой ответ обязательно. Через шесть недель, когда ваш показатель просядет, единственный способ понять причину это прочитать, что модель говорила тогда и что говорит сейчас. Булево “mentioned: false” не говорит о причине ничего.
Колонка с конкурентами превращает мониторинг в стратегию. В каждом ответе, где нет вас, названы другие, а значит каждый прогон это ещё и бесплатный сэмпл по конкурентам. Извлекайте эти названия последовательно, и вы получите долю голоса по всей категории без дополнительных затрат.
Шаг 4: читайте цифры, не обманывая себя
Когда накопится несколько недель данных, действовать стоит на три паттерна.
Устойчивое падение сразу по многим промптам. Если показатель упал на 2 промптах из 30, это шум. Если он упал на 20 из 30 за одну неделю, изменилось что-то структурное: обновление модели, контент-пуш конкурента или ваше собственное изменение на сайте, которое ухудшило доступность для краулинга.
Конкурент растёт, пока вы стоите на месте. Это самое полезное раннее предупреждение из доступных, и обычно оно появляется за недели до того, как отразится на регистрациях в триал. Идите и прочитайте цитирования на тех промптах, которые он выигрывает. На практике ответом часто оказывается одна страница сравнения или свежий обзорный материал, которому модель начала доверять.
Промпт, где вас упоминают, но подают плохо. Здесь живут самые дешёвые исправления. Если модель раз за разом говорит, что у вашего продукта “нет API”, а вы выпустили его в прошлом году, устаревшее утверждение приходит из конкретного места, которое часто можно найти по цитированиям. Найти и исправить этот источник намного дешевле, чем поднимать частоту упоминаний с нуля.
Не поддавайтесь желанию менять сайт в ту же неделю, когда заметили колебание. Дайте любому подозрительному падению второй период измерения на подтверждение, прежде чем тратить на него время разработки.
Вручную, скриптом или через инструмент
Три способа это делать и честные компромиссы каждого:
| Подход | Затраты на настройку | Затраты на поддержку | Ломается, когда |
|---|---|---|---|
| Вручную в чат-интерфейсе | Минуты | 1-3 часа в неделю | Промптов становится около 10 или нужен трекинг конкурентов |
| Свой скрипт плюс таблица | День-два | Обслуживание при изменениях API | Добавляете ассистентов или нужен разбор тональности и цитирований |
| Специализированный трекер | Меньше часа | Просмотр дашбордов | В основном вопрос бюджета |
Ручной способ это правильная стартовая точка, и пошаговая его версия есть в нашем гайде о том, как отслеживать свой бренд в ChatGPT. Вариант со скриптом вполне реален для технического основателя, если принять, что разбор упоминаний сложнее, чем кажется: названия брендов сокращают, пишут с ошибками и путают с похоже названными продуктами.
Категория инструментов очень широкая. Корпоративные платформы вроде Profound и Brandlight сделаны для бренд-команд с соответствующими бюджетами, а более лёгкие варианты вроде Otterly и Peec AI нацелены на небольшие команды. AskAiRank занимает инди-SaaS-сегмент этого рынка: прогоняет ваш набор промптов по ChatGPT, Claude, Perplexity и Gemini по расписанию и отслеживает конкурентов на тех же промптах.
С чего начать на этой неделе
Не стройте всю систему в первый же день. Напишите 15 промптов, которые задал бы реальный покупатель, прогоните каждый по три раза в интерфейсе ChatGPT и запишите результаты в таблицу, по одной строке на прогон. Это два часа работы, и они дают вам настоящую точку отсчёта.
Повторите то же самое через неделю. Если цифры сдвинулись и вам захотелось понять почему, автоматизация оправдана. Если ничего не сдвинулось и вам было всё равно, вы сэкономили себе подписку.
Часто задаваемые вопросы
Для большинства инди-SaaS достаточно ежедневного прогона, а если категория меняется медленно, хватит и еженедельного. Более частые замеры дают в основном шум: ответ на один и тот же промпт всё равно отличается от прогона к прогону. Важно другое - чтобы интервал оставался постоянным, тогда сравнение недели с неделей что-то значит.
Чат-интерфейс годится для разовых проверок и ничего не стоит. Для автоматического мониторинга нужен API: один и тот же промпт должен прогоняться по расписанию, без человека, который каждый раз нажимает кнопку. На набор из 20-50 промптов на небольшой модели закладывайте несколько долларов в месяц.
Если есть возможность, отслеживайте оба режима и никогда не смешивайте их в одной метрике. Ответы с веб-поиском подтягивают живые страницы и вознаграждают свежий, доступный для краулинга контент. Ответы без веб-поиска отражают то, что модель усвоила при обучении, и меняются намного медленнее. Это две разные поверхности видимости, и чинятся они по-разному.
Сама по себе, скорее всего, нет. При нескольких сэмплах на промпт колебания в 10-20% это обычный статистический шум. Считайте падение реальным, если оно держится два периода подряд, проявляется сразу на нескольких промптах, а не на одном, или совпадает с ростом показателя конкурента на сопоставимую величину.
Начните с ChatGPT: у него самая большая аудитория среди ассистентов. Остальных подключайте, когда процесс начнёт работать сам. Каждый ассистент подбирает источники по-своему, поэтому высокая частота упоминаний в ChatGPT почти ничего не говорит о Perplexity, который сильно опирается на живые цитирования.
