Сэмплирование промптов - практика многократного прогона одного и того же промпта через ИИ-модель и агрегирования результатов, вместо того чтобы полагаться на один ответ. Поскольку выводы ИИ-моделей вероятностны (один и тот же ввод может давать разные выводы при разных прогонах), одна выборка может не отражать типичное поведение модели для этого запроса.
Почему измерения с одним прогоном ненадёжны
Большие языковые модели генерируют текст, используя параметр температуры, который вносит управляемую случайность. При температурах, используемых для разговорного ИИ, один и тот же промпт может давать значимо разные ответы:
- Прогон 1: “Для этой задачи я бы порекомендовал [ваш бренд] или конкурента А.”
- Прогон 2: “Инструменты вроде конкурента Б и конкурента В хорошо подходят для этого.”
- Прогон 3: “Популярные варианты включают [ваш бренд], конкурента Б и конкурента А.”
Если бы вы прогнали только прогон 2, вы бы измерили ноль упоминаний и зафиксировали видимость 0% для этого промпта. По 3 выборкам вы измеряете 2 упоминания из 3 прогонов и фиксируете 67% для этого промпта. Показатель по нескольким выборкам точнее и стабильнее.
Сколько выборок достаточно?
Больше выборок снижает дисперсию, но увеличивает стоимость (каждый вызов API стоит денег и времени). Исследования этого компромисса для измерения видимости бренда предполагают:
- 1 выборка: приемлема для отслеживания на бесплатном тарифе, где стоимость - главное ограничение, а у вас много промптов. Закон больших чисел помогает, когда вы агрегируете по 25-50 промптам.
- 3 выборки: существенно снижает шум на уровне промпта. Хорошо подходит для пользователей тарифа Pro, которым важен точный анализ по каждому промпту.
- 5 выборок: дальнейшее снижение дисперсии. Отдача снижается за этой точкой для большинства практических целей.
- 10+ выборок: редко оправдывает дополнительную стоимость для коммерческого отслеживания бренда.
AskRank использует 1-5 выборок в зависимости от вашего тарифа, с 3 выборками по умолчанию для пользователей Pro.
Сэмплирование и ваш показатель видимости
Когда вы используете несколько выборок, ваш показатель видимости для промпта становится усреднённым:
- Промпт упомянут в 2 из 3 выборок: 67% частота упоминаний для этого промпта
- Промпт упомянут в 3 из 3 выборок: 100% частота упоминаний для этого промпта
- Промпт упомянут в 0 из 3 выборок: 0% частота упоминаний для этого промпта
Общий показатель видимости усредняет эти показатели по каждому промпту по всему вашему набору промптов. Этот расчёт по нескольким выборкам точнее, чем бинарное “упомянут или нет” для каждого промпта.
Температура и детерминизм
Некоторые ИИ API позволяют установить температуру в 0, что делает модель почти детерминированной (одинаковый вывод каждый раз). При температуре=0 многократное сэмплирование даёт почти идентичные результаты, так что от нескольких выборок нет пользы. AskRank использует стандартные настройки температуры для каждого провайдера, чтобы получить реалистичные измерения того, что испытывают реальные пользователи.
