Мультисэмплирование - техника многократного прогона каждого промпта в вашем наборе отслеживания за одну сессию измерения и усреднения результатов. Это стандартный подход к получению надёжных показателей видимости, учитывая присущую выводам ИИ-языковых моделей недетерминированность.
Почему мультисэмплирование важно
ИИ-языковые модели вероятностны. При одном и том же промпте модель выдаёт разные ответы при разных прогонах из-за температуры (управляемой случайности) в процессе генерации. Если вы прогоняете промпт один раз, и ваш бренд не упомянут, вы не знаете, потому ли это, что модель редко вас упоминает, или потому что вам просто не повезло с выборкой.
Мультисэмплирование устраняет эту неоднозначность. Если вы прогоняете промпт пять раз и ваш бренд появляется в трёх из этих пяти ответов, у вас 60% частоты упоминаний для этого промпта. Эта цифра гораздо более значима, чем бинарное “да/нет” из одного прогона.
Компромисс между стоимостью и точностью
Каждая выборка стоит денег (вызовы API) и времени. Больше выборок = больше точности, но отдача быстро снижается:
| Выборок | Дисперсия | Стоимость относительно 1 выборки |
|---|---|---|
| 1 | Высокая | 1x |
| 3 | Средне-низкая | 3x |
| 5 | Низкая | 5x |
| 10 | Очень низкая | 10x |
Стандартное отклонение оценки видимости падает примерно пропорционально квадратному корню из числа выборок. Переход с 1 к 3 выборкам примерно вдвое снижает стандартное отклонение. Переход с 3 к 5 выборкам снижает его ещё примерно на 18%. Переход с 5 к 10 выборкам снижает его ещё примерно на 29%, но при удвоенной стоимости.
Для большинства инди-SaaS-основателей 3 выборки дают правильный баланс: значимо более надёжно, чем измерение с одним прогоном, при стоимости, оправданной бизнес-ценностью данных.
Мультисэмплирование в AskRank
AskRank выполняет:
- Free/Starter: 1 выборка на промпт за прогон
- Pro: 3 выборки на промпт за прогон
- Team/Agency: 5 выборок на промпт за прогон
Показатель видимости на вашем дашборде отражает усреднённый результат по всем выборкам. Вы также можете увидеть сырые ответы по каждой выборке в детальном представлении, если хотите изучить дисперсию напрямую.
Мультисэмплирование против мульти-промптов
Мультисэмплирование (многократный прогон одного промпта) не следует путать с наличием большого, разнообразного набора промптов. Важно и то, и другое:
- Большой набор промптов охватывает широкий диапазон ракурсов запросов - он показывает, в каких типах вопросов ваш бренд появляется, а в каких нет
- Мультисэмплирование даёт точные измерения для каждого из этих промптов
Комбинация продуманно составленной библиотеки промптов и адекватного сэмплирования на каждый промпт - это то, что даёт надёжные данные о видимости.
