Извлечение сущностей - техника NLP (обработки естественного языка), используемая для выявления конкретных именованных сущностей в блоке текста. В контексте мониторинга бренда в ИИ извлечение сущностей - процесс парсинга ответа ИИ-модели, чтобы определить, какие названия брендов в нём появляются, с обработкой вариаций, аббревиатур и нечётких совпадений.
Почему извлечение сущностей сложнее, чем поиск по строке
Наивный мониторинг бренда использует простой поиск по строке: “содержит ли текст точную строку ‘НазваниеБренда’?” Это работает для прямолинейных упоминаний, но упускает многие реальные случаи:
- Аббревиатуры: “АР” для “AskRank”, “GH” для “GitHub”
- Опечатки: “ХабСопт” вместо “HubSpot”
- Вариации регистра: “хабспот”, “Хабспот”, “HubSpot” должны совпадать одинаково
- Частичные совпадения: “трекер рангов” упомянутый в контексте обсуждения AskRank
- Контекстно-зависимая неоднозначность: “Notion” может относиться к софту или к общему понятию
Хорошее извлечение сущностей обрабатывает эти случаи без создания ложных срабатываний (ошибочная пометка не-упоминания) или ложных пропусков (пропуск реального упоминания).
Как AskRank выполняет извлечение сущностей
AskRank использует двухэтапный подход:
Этап 1 - сопоставление на основе regex: быстрый проход сопоставления паттернов, который улавливает совпадения с высокой уверенностью (точное название бренда, известные аббревиатуры, простые вариации регистра). Этот этап эффективно обрабатывает большинство упоминаний.
Этап 2 - извлечение на основе модели: для ответов, где этап 1 находит неоднозначные сигналы или низкую уверенность, в качестве вторичного парсера используется Claude Haiku. Он читает сырой ответ и определяет, было ли рассматриваемое название бренда действительно упомянуто, обрабатывая нечёткие совпадения, транслитерации и контекстно-зависимую неоднозначность. Этот этап запускается только по необходимости, что удерживает расходы под контролем.
Комбинация даёт высокую точность (мало ложных срабатываний) и высокую полноту (мало ложных пропусков) на разнообразии выходных данных, которые производят разные ИИ-модели.
Извлечение сущностей и оценки уверенности
Каждое обнаруженное упоминание получает оценку уверенности. Обнаружения с высокой уверенностью (точное совпадение, известный алиас) считаются определёнными. Обнаружения с низкой уверенностью либо повышаются до этапа на основе модели, либо помечаются для ручного просмотра в дашборде.
Пороги уверенности можно настраивать: более строгий порог снижает ложные срабатывания, но может пропустить некоторые реальные упоминания; более мягкий порог улавливает больше реальных упоминаний, но вносит больше шума. Значения по умолчанию в AskRank откалиброваны для сбалансированной точности и полноты, с возможностью настроить чувствительность в настройках аккаунта.
Частота ложных срабатываний и ложных пропусков
Чтобы инструмент мониторинга бренда был надёжным, его детекция упоминаний должна быть точной. AskRank ведёт тестовый набор из 50 вручную размеченных ответов ИИ по нескольким LLM и периодически измеряет частоту ложных срабатываний и ложных пропусков своего пайплайна извлечения сущностей. Текущая целевая частота ложных срабатываний - ниже 5%.
