Аналитика и качество

Группа Insights превращает события, которые передают ваша витрина и виджеты, в дашборды, эксперименты, офлайн-проверку качества и операционные алерты. Всё это зависит от событий — поиска, клика, добавления в корзину, покупки, визита, — поступающих от клиента со стабильным X-NOVA-SESSION-ID.

Аналитика

/dashboard/analytics (функция тарифа analytics) — дашборд трафика. Те же числа доступны программно — см. API аналитики. Над восемью вкладками расположены фильтр по коллекции, диапазон дат «с/по» (по умолчанию последние 30 дней, с быстрыми вариантами 7 / 30 / 90 дней), необязательное сравнение с предыдущим периодом («compare to previous period») и кнопка Refresh:

Действие в заголовке ведёт прямо на Search issues. Для изменения срока хранения нужны права владельца или администратора. Если диапазон слишком велик для хранилища событий, отчёт сообщает, что он усечён и что метрики сессий охватывают только самые ранние события.

Каждая вкладка загружает данные независимо: успешно загруженные панели продолжают отображаться, а неудавшийся вызов указывается в одной строке ошибки над ними, поэтому сломанный график не опустошает весь экран.

Проблемы поиска

/dashboard/search-issues находит неудачные поиски. При наличии функции analytics выберите коллекцию и окно в 7 / 30 / 90 дней — экран покажет:

• CTR, число поисков, клики и последнюю долю запросов без результатов, а также карточку низкого CTR, если CTR ниже 10% при не менее чем десяти поисках.
• Дни с высокой долей запросов без результатов (не менее пяти поисков и 25%).
• Zero-hit queries с числом появлений и долей, каждый с действиями Debug (открывает поисковую песочницу), Suggest (открывает предложения синонимов для этого запроса) и Rules (открывает поисковые правила коллекции).
• Ranking opportunities — запросы как минимум с тремя поисками, не входящие в список запросов без результатов, не более пятнадцати первых.
• Самые частые запросы с отметкой «без результатов» или «есть результаты», каждый со своей ссылкой Debug.

В заголовке доступны Synonym suggestions для выбранной коллекции и Refresh. Пустые состояния покрывают случаи «pick a collection» и «no search data yet», а панель запросов без результатов ссылается на аналитическое правило nohits_queries, если анализировать пока нечего.

Аналитические правила

/dashboard/analytics-rules (функция analytics) управляет аналитическими правилами движка. New открывает диалог с названием правила, типом (с подсказкой для каждого типа), исходной коллекцией, типом события, целевой коллекцией, лимитом (минимум 1, по умолчанию 1000) и тегом (по умолчанию "console"). У каждого правила есть тип — nohits_queries, popular_queries, counter или log, — исходная коллекция, тип события (search, click, conversion, visit, custom), целевая коллекция (обязательна для сборщиков nohits / popular), лимит и тег. Правило nohits_queries ссылается на Synonym suggestions для своей коллекции; любое другое правило с коллекцией ссылается на Search issues.

Здесь доступны только общие поля; расширенные параметры (expand_query, meta_fields, веса счётчиков) находятся в редакторе ресурсов администратора. Отладочная панель внизу принимает идентификатор пользователя, название правила и лимит (1–1000, по умолчанию 50) и выводит подходящие события (When, Type, Query, Doc, Collection) — контракт требует и идентификатор пользователя, и название правила, поэтому это не универсальный обозреватель событий.

Эксперименты

/dashboard/experiments запускает A/B-тесты изменений ранжирования или мерчандайзинга. Требуется функция тарифа experiments (Pro).

• Список показывает для каждого эксперимента коллекцию, статус (draft / running / stopped, а также значок promoted), варианты с весами и параметрами поиска, долю вовлечённого трафика и даты.
• Для создания эксперимента укажите название, коллекцию, процент трафика для вовлечения (1–100), название варианта (по умолчанию "Variant B") и JSON параметров поиска для варианта; контрольная группа и вариант создаются как черновик.
• Start и Stop управляют трафиком; Report открывает таблицу по вариантам (сессии, поиски, клики, CTR, добавления в корзину, покупки, конверсия, выручка) с отметкой «beats control», если разница значима, и 95% доверительными интервалами; Promote сводит эксперимент к победившему варианту со 100% трафика, оставляя его запущенным. У панели отчёта есть свой Refresh, пустое состояние, пока ни одна сессия не вовлечена, и исходный JSON отчёта под таблицей.
• Успешные действия показывают закрываемое уведомление ("… is running", "stopped", "promoted … to 100% traffic", "deleted").

Эксперимент не останавливается автоматически. Метрики накапливаются только для сессий, передающих соответствующий X-NOVA-SESSION-ID в запущенном эксперименте. Удаление эксперимента удаляет его назначения и останавливает его.

Кампании

/dashboard/campaigns планирует мерчандайзинг на заданный период. У кампании есть название, необязательная коллекция (пустое значение означает все), статус, приоритет (при конфликте кампаний побеждает более высокий), метки времени начала и окончания, еженедельное повторение (переключатели дней недели, часы «с/по», которые могут переходить через полночь, и часовой пояс IANA) и те же фрагменты правил, что и в поисковых правилах, — бусты, закрепления, перенаправления, баннеры, спонсорские размещения и фильтр исключений.

Работают только активные и запланированные кампании. Создание, редактирование, приостановка, активация, завершение и удаление требуют прав владельца или администратора.

Лаборатория качества

/dashboard/quality — офлайн-проверка релевантности: эталонные наборы запросов, экспертные оценки, оценённые прогоны и сравнение для проверки на регрессию. Карточка Live tools ведёт прямо на восемь экранов, связанных с этой работой, — Search issues, поисковую и чат-песочницы, Analytics, Experiments, Search rules, Synonym suggestions и граф знаний.

• Sets — название, коллекция и описание, а также число запросов, число оценок, пороги алертов и статус и nDCG@k последнего прогона.
• Queries and judgments — добавляйте запросы по одному на строку (с необязательными query_by / filter_by), импортируйте CSV формата query,doc_id,grade или импортируйте оценки из реальных кликов за выбранное число дней (клик = 1, добавление в корзину = 2, покупка = 3). Оценки выставляются от 0 до 3 (не релевантно, пограничное, релевантно, идеально), и у каждой есть значок источника. Экспертные оценки никогда не перезаписываются кликами. Запросы и отдельные оценки можно удалять.
• Runs — оценка с выбранным k (по умолчанию 10), меткой, необязательным базовым прогоном и необязательным пресетом. Прогон сообщает nDCG@k, MRR, P@k, R@k, MAP и hit rate и открывает результат по каждому запросу с первыми результатами; во время выполнения прогоны опрашиваются, их можно удалять.
• Compare — выберите прогон и базовый прогон: экран отмечает регрессию относительно порога падения (по умолчанию 0.05), сообщает изменения метрик и перечисляет запросы, которые ухудшились, улучшились, были добавлены или удалены.
• Thresholds — «alert when mean nDCG@k is below X» и «alert when the drop versus baseline exceeds Y». Алерты доставляются в вебхуки, подписанные на quality.regression; если оставить поле пустым, соответствующий алерт отключается.
• Карточка снимка за 30 дней имеет собственный выбор коллекции и Refresh snapshot, показывает CTR, число поисков и последнюю долю запросов без результатов, перечисляет самые частые запросы и запросы без результатов со ссылками Debug и ведёт дальше на Full analytics и Search issues.

Автопилот

/dashboard/autopilot предлагает изменения мерчандайзинга на основе реального поведения и позволяет владельцу или администратору принять или отклонить их. Предложения бывают разных видов — синоним, закрепление, перенаправление, буст, курирование, эксперимент, исключение и баннер, — у каждого есть сводка, статус, коллекция, оценка, метки времени, запрос, из которого оно возникло, и данные обоснования. Список фильтруется по статусу (pending, accepted, rejected или all) и по коллекции, показывает число предложений и число черновиков последнего запуска и имеет Refresh.

• Run now формирует новый пакет по событиям поиска и кликов за последние 30 дней. Для закреплений, перенаправлений и бустов нужно не менее 20 поисков по запросу; для синонимов — не менее трёх поисков без результатов.
• Для предложений буста, закрепления и исключения доступно Preview quality impact по данным лаборатории качества; если предпросмотр показывает регрессию и решение ему противоречит, консоль запрашивает явное подтверждение перед принудительным применением. Для видов, которые проверить нельзя, указывается причина — нет эталонного набора для коллекции, нет оценённых запросов или нет предпросмотра ранжирования для этого вида.
• Принятие доступно только владельцу или администратору, а для предложения синонима может потребоваться указать термины.

Наблюдаемость

Три экрана читают журнал запросов. Если организация не повысила QUERY_LOG_SAMPLE_RATE, журнал содержит выборку — запросы с debug=true записываются всегда, поэтому поисковая песочница — надёжный способ зафиксировать запрос.

• Query log (/dashboard/observability) — фильтрация по коллекции, тексту запроса, сессии, окну (от 1 часа до всего времени), только запросам без результатов и только ошибкам; фильтры сохраняются в URL. Таблица загружается страницами по 50 строк через Load more и показывает время, коллекцию, запрос, число найденного, статус, задержку, применённые функции (вариант эксперимента, переписывание, фолбэк, трассировку) и идентификатор сессии со ссылкой на представление этой сессии. Строка открывает полный запрос с параметрами движка, первыми результатами, сохранённой трассировкой (или пометкой об её отсутствии) и действием Replay now, которое принимает необязательное поле JSON-переопределений и показывает разницу между записанным и текущим списком результатов. Карточка контрфактического воспроизведения выполняет до 50 записанных запросов с JSON-переопределениями параметров и сообщает число запросов, изменённых, failed, средний коэффициент Жаккара, ранговую корреляцию, mean found до и после, а также сколько запросов получили или потеряли результаты, плюс таблицу по запросам (запрос, коллекция, записанное → текущее число найденного, добавлено, удалено, перемещено, Жаккар, identical / changed / error).
• Sessions (/dashboard/observability/sessions) — поиск сессии по идентификатору или просмотр индекса сессий за окно 24 часа / 7 дней / 30 дней с постраничной загрузкой Load more (сессия, запросы, запросы без результатов, ошибки, начало, последняя активность, состояние). При открытии сессии в URL записывается ?sessionId=, поэтому сессией можно поделиться; её сводка сообщает число запросов, запросов без результатов, ошибок и затронутых различных коллекций, а каждый запрос открывает ту же панель. Пустые состояния объясняют выборку QUERY_LOG_SAMPLE_RATE и то, что виджет передаёт идентификатор сессии автоматически.
• Latency (/dashboard/observability/metrics) — перцентили сквозной задержки и задержки движка (p50 / p90 / p95 / p99 / mean / max), число запросов, доля ошибок, доля запросов без результатов и таблица пропускной способности за окно от 1 часа до 30 дней, при необходимости — по одной коллекции.

Алерты и SLO

/dashboard/alerts объединяет алерты по метрикам с целевыми уровнями сервиса (SLO). Для создания правил, изменения целевых значений SLO, оценки и удаления нужны права владельца или администратора.

Правила алертов отслеживают метрику — долю запросов без результатов, долю ошибок, задержку p95, число поисков, CTR, долю поисков без кликов или выручку — по коллекции или по всем, с условием above, below или anomaly (отклонение по z-оценке), порогом (или чувствительностью 1–10 для аномалий), окном оценки (от 15 минут до 24 часов) и периодом ожидания (от 15 минут до 7 дней). Сработавший алерт может доставляться в вебхук как alert.fired; поле email присутствует, но консоль отмечает, что почтовый провайдер не настроен. Таблица правил показывает название (и коллекцию), метрику, условие, окно и время последнего срабатывания, а также переключатель Enabled — единственный способ приостановить правило, недоступный для не-администраторов, — и удаление. Evaluate now выводит таблицу «Last evaluation» (правило, значок результата, значение, ожидаемое значение, сообщение) и уведомление о том, сколько правил было оценено и сколько сработало.

SLO охватывают доступность, задержку p95 и долю запросов без результатов за целевое окно (1–90 дней, по умолчанию 30) и показывают met / missed / no-data, фактическое значение, оставшийся бюджет ошибок, скорость его расходования и израсходованные неудачные запросы. Форма целевых значений принимает процент доступности (50–100), задержку p95 в миллисекундах, долю запросов без результатов (0–1) и окно. Доступность означает поиски, на которые получен ответ без ошибки поиска; цель по p95 допускает превышение на 5%.

Список алертов можно фильтровать по типу и включать в него разрешённые алерты; каждая строка показывает значок серьёзности (info / warning / critical), алерт можно подтвердить или разрешить; если доставка email-алерта через вебхук не удалась, строка сообщает об этом. Правила и алерты загружаются окном до 200 строк. Операторы платформы также видят на этом экране раздел зависимостей Search cluster.

Далее

• Публикация и поддержка
• Качество, аналитика и алерты в справочнике API