На этой странице
Вы спросили ChatGPT про «лучшие инструменты для X», и вашего продукта в списке не оказалось, зато два конкурента там были. Это обидно, но само по себе это не бенчмарк. Это один ответ, от одной модели, в один день. Чтобы решить, что чинить, нужно знать, насколько велик разрыв на самом деле, где он сосредоточен и движется ли он. В этой статье разбираем метод бенчмарка, который соло-основатель может провести за один вечер и повторять каждый месяц.
Что здесь на самом деле значит «бенчмарк»
В SEO бенчмарк против конкурента легко представить: одно и то же ключевое слово, кто выше в выдаче. В AI-ответах нет ранжированного списка из десяти ссылок. Есть сгенерированный ответ, который может назвать вас или не назвать, может поставить вас первым или пятым и может сказать о вас что-то тёплое или прохладное.
Поэтому полезный бенчмарк сравнивает четыре вещи, всегда на одном и том же наборе промптов:
- Частота упоминаний: доля запусков, в которых бренд вообще назван. Это сырой вход для балла AI-видимости.
- Позиция: если ответ - список, где в нём оказывается каждый бренд. Быть названным и быть названным первым - не одно и то же.
- Тональность: бренд рекомендуют, описывают нейтрально или упоминают с оговоркой («хороший, но дорогой»).
- Цитаты: на какие URL опирается движок, когда говорит о каждом бренде. Это показывает, откуда берётся видимость.
Всё остальное в этой статье о том, как сделать эти четыре числа сопоставимыми между брендами, а не кучей анекдотов.
Шаг 1: Выберите конкурентов, с которыми вас реально сравнивают покупатели
Самая частая ошибка - бенчмарк против компании, с которой вы хотели бы конкурировать. Подбирайте набор так, как это сделал бы покупатель:
- Две-три прямые альтернативы, которые всплывают в ваших продажных звонках, причинах оттока и поисковых запросах «vs». Именно здесь разрыв в видимости стоит вам сделок уже сегодня.
- Один лидер категории как потолок. Вы не обойдёте его по всем фронтам в этом квартале, но его цифры покажут, какие промпты фактически закрыты.
- Опционально один смежный продукт, который решает ту же задачу иначе. Если LLM продолжают рекомендовать его по вашим промптам, это проблема позиционирования, а не контента.
Ограничьтесь тремя-пятью названиями. Каждый лишний конкурент умножает число запусков, необходимых, чтобы цифры перестали дрожать.
Шаг 2: Соберите один общий набор промптов
Бенчмарк честен только тогда, когда каждый бренд оценивается по одним и тем же вопросам. Не используйте «свои» промпты для себя и «их» промпты для них. Соберите один список и прогоняйте его для всех брендов сразу. Рабочая структура для небольшого SaaS:
| Тип промпта | Пример | Почему это важно |
|---|---|---|
| Рекомендация по категории | «лучшие инструменты для выставления счетов фрилансерам» | Самый широкий охват, самая высокая конкуренция |
| Под конкретный сценарий | «инструмент для счетов с поддержкой НДС ЕС для бизнеса из одного человека» | Здесь выигрывают небольшие продукты |
| Сравнение | «Бренд A vs Бренд B для фрилансеров» | Показывает, как модель подаёт вас на фоне названного соперника |
| От проблемы | «как перестать выбивать просроченные счета» | Проверяет, ассоциируют ли вас с болью, а не только с категорией |
| Прямо о бренде | «Бренд A вообще хорош?» | Проверка тональности и точности |
Для начала ориентируйтесь на 30-60 промптов. Если не уверены в количестве, глоссарий об объёме промптов подробнее разбирает компромисс между охватом и шумом. Пишите промпты так, как их набирает человек, а не так, как маркетолог пишет заголовок.
Шаг 3: Делайте выборку правильно, иначе цифры соврут
Ответы LLM недетерминированы. Задайте одной модели один и тот же вопрос три раза - и можете получить три разных списка. Если прогонять каждый промпт один раз, «видимость» бренда может скакать на 20-30 пунктов между запусками, хотя в реальном мире ничего не менялось.
Три правила, которые убирают большую часть шума:
- Повторяйте каждый промпт несколько раз на движок. Три-пять выборок на промпт - диапазон, который превращает подбрасывание монетки в пригодную частоту. Именно это на практике означает мультисемплинг.
- Прогоняйте все бренды в одной партии. Те же промпты, тот же день, те же версии моделей. Бенчмарк, снятый для вас в июле, а для конкурента в августе, - не бенчмарк.
- Покрывайте больше одного движка. ChatGPT, Claude, Perplexity и Gemini тянут из разных источников и ведут себя по-разному. Perplexity, в частности, сильно опирается на цитаты и вознаграждает свежие, хорошо структурированные страницы, поэтому бренд может выглядеть сильным там и слабым в ChatGPT. Сначала отчитывайтесь по каждому движку отдельно, потом сводите.
Шаг 4: Нормализуйте в долю голоса
Когда у вас есть частота упоминаний для каждого бренда, читать её можно двумя способами.
Абсолютная видимость отвечает на вопрос «как часто меня называют»: упоминания, делённые на общее число запусков. Полезно для отслеживания собственного прогресса.
Доля голоса отвечает на вопрос «когда модель называет кого-то в этой категории, какая часть внимания достаётся мне»: ваши упоминания, делённые на сумму упоминаний всех отслеживаемых брендов. Именно это число делает бенчмарк сопоставимым, потому что убирает эффект промптов, в которых никто не назван вообще. Полный метод описан в гайде как измерить AI-долю голоса, а AI-доля голоса против доли рынка объясняет, почему эти два числа часто расходятся.
Минимальный отчёт по одному движку выглядит так:
| Бренд | Частота упоминаний | Доля голоса | Ср. позиция | Чистая тональность |
|---|---|---|---|---|
| Вы | 22% | 14% | 3.4 | нейтральная |
| Конкурент A | 41% | 27% | 1.9 | позитивная |
| Конкурент B | 35% | 23% | 2.6 | позитивная |
| Лидер категории | 55% | 36% | 1.3 | позитивная |
Из такой таблицы бросаются в глаза две вещи ещё до того, как копнуть глубже: лидер выигрывает по позиции не меньше, чем по присутствию, а Конкурент A получает более тёплое описание, чем вы. Это разные проблемы с разными решениями.
Шаг 5: Раскладывайте разрыв по промптам, а не по брендам
Общий разрыв («у нас 14%, у них 27%») - число для мотивации, а не для действия. Действие живёт на уровень ниже. Отсортируйте набор промптов по разнице в частоте упоминаний между вами и ближайшим конкурентом, и обычно вы увидите три корзины:
- Промпты, которые никто не занял. Частота упоминаний низкая у всех. Это открытая территория и обычно самые дешёвые победы: понятная страница «что такое X», конкретное сравнение, хорошо структурированный гайд под сценарий использования.
- Промпты, которые занял конкурент, а вы нет. Смотрите на цитаты. В девяти случаях из десяти модель опирается на конкретный сайт с обзорами, страницу сравнения или листинг на G2 или Capterra, где конкурент присутствует, а вас мало или нет совсем. Данные по цитатам - то место, где бенчмарк превращается в список задач, и именно поэтому отслеживание цитирований важнее одной лишь частоты упоминаний.
- Промпты, которые лидер держит безраздельно. Высокая частота упоминаний, первая позиция, тёплая тональность, везде. Зафиксируйте их и не гонитесь за ними в этом квартале.
Для каждого промпта из второй корзины выпишите три главных цитируемых домена конкурента. Если один и тот же сторонний сайт повторяется во многих промптах, этот один сайт стоит больше, чем месяц постов в блоге.
Шаг 6: Превратите это в регулярное число, а не в разовый аудит
Первый бенчмарк показывает, где вы стоите. Ценность приходит со вторым, третьим и десятым. Видимость в AI-ответах меняется быстрее, чем выдача Google: обновление модели, новая подборка обзоров или PR-волна конкурента могут поменять картину за пару недель.
Практичный ритм для небольшой команды:
- Еженедельно: автоматические запуски, тот же набор промптов, те же движки. Взгляните на тренд, игнорируйте колебания в рамках одной недели.
- Ежемесячно: полная сравнительная таблица плюс разбивка по промптам. Обновите список задач по разрывам в цитатах.
- Ежеквартально: пересмотрите набор конкурентов и набор промптов. Уберите промпты, которые больше не отражают то, как спрашивают покупатели, добавьте новые из тикетов поддержки и продажных звонков.
Прогонять это вручную по четырём движкам с мультисемплингом - сотни запросов в неделю, поэтому большинство основателей либо останавливаются после первого аудита, либо автоматизируют процесс. AskAiRank построен ровно под этот цикл: вы один раз задаёте промпты и конкурентов, он по расписанию опрашивает ChatGPT, Claude, Perplexity и Gemini, а сравнение с конкурентами и таблица доли голоса обновляются сами. Какой бы инструмент вы ни использовали, требование одно и то же: одинаковые промпты, повторная выборка, отчёт по каждому движку и история, к которой можно вернуться.
Типичные ошибки бенчмарков
- Разные промпты для разных брендов. Баллы перестают быть сопоставимыми в тот момент, когда меняется вопрос.
- Один запуск на промпт. Вы измеряете случайность, а не видимость.
- Слишком раннее сведение движков. Сводные 30% могут прятать 55% в Perplexity и 5% в ChatGPT, а это две совершенно разные ситуации.
- Засчитывать промпты о бренде как победы. Если на вопрос «Бренд A хорош?» модель называет Бренд A, это не видимость, а модель зачитывает вам ваш же вопрос. Оставьте такие промпты для тональности, а не для доли голоса.
- Игнорировать позицию и тональность. Быть пятым названием с оговоркой в списке - не то же самое, что быть уверенной первой рекомендацией.
Ваш следующий шаг
Выберите трёх конкурентов, напишите 30 промптов по пяти типам выше и прогоните каждый минимум три раза на двух движках на этой неделе. Занесите результаты в таблицу с пятью столбцами, отсортируйте промпты по разрыву и выберите два-три промпта из корзин «никто не занял» и «цитируемый сайт, где нас нет». Это бенчмарк, по которому можно действовать, и, что важнее, который можно перезапустить в следующем месяце и увидеть, сдвинулся ли разрыв.
Часто задаваемые вопросы
Ответы о том, как честно и повторяемо сравнить AI-видимость с конкурентами.
Для небольшой команды практичный диапазон - от трёх до пяти. Меньше трёх - и вы не поймёте, разрыв касается вас или всей категории. Больше пяти - и число промптов, нужное для стабильных цифр, растёт быстрее, чем польза от результата. Начните с двух-трёх названий, которые покупатели реально упоминают рядом с вашим, и добавьте одного лидера, на которого хотите равняться.
И с теми, и с другими, но по разным причинам. Продукты похожего размера показывают, выигрываете ли вы свои реальные битвы. Лидер рынка задаёт потолок и показывает, какие промпты уже «заняты» и вряд ли стоят усилий в этом квартале. Держите их в отдельных строках отчёта, чтобы одно не прятало другое.
Еженедельно для линии тренда, ежемесячно для полного разбора. Ответы LLM меняются быстрее, чем выдача Google, поэтому один снимок устаревает за несколько недель. Вам нужно направление движения разрыва за четыре-восемь недель, а не разовый балл.
Часто да, на уровне отдельных промптов. LLM сильно опираются на ясность сущности, сторонние упоминания и сравнительный контент, и небольшой продукт может выигрывать конкретные промпты под сценарии использования, на которые крупный конкурент никогда не целился. Сосредоточьтесь на промптах, где разрыв невелик или где никто не доминирует, а не на тех, которые лидер держит уже год.
Как первый взгляд - да, как бенчмарк - нет. Ответы меняются от запуска к запуску, от модели к модели и ото дня ко дню, поэтому горстка ручных запросов может перевернуть результат. Чтобы честно сравнить бренды, нужны одни и те же промпты, прогнанные несколько раз, в нескольких движках и по расписанию. Именно для этого и существуют инструменты трекинга.
