A/B-эксперименты

Эксперимент делит трафик одной коллекции между вариантами. Вариант — это набор параметров поиска (и, при необходимости, рекомендаций), которые накладываются на запросы назначенных ему сессий. Отчёты сравнивают варианты по событиям, которые отправляет ваша витрина.

Для экспериментов нужна функция тарифа experiments (тариф Pro). Без неё любая операция с экспериментами отвечает 403. Управление — полным ключом; поисковые ключи участвуют только через заголовок сессии.

Создание

const experiment = await client.experiments.createExperiment({
  name: "Сначала популярные",
  collection: "products",
  traffic: 0.5,
  variants: [
    { id: "control", search_params: {} },
    { id: "popular", weight: 1, search_params: { sort_by: "popularity:desc,_text_match:desc" } },
  ],
});

Неверная конфигурация — 400. Новый эксперимент создаётся в статусе draft и ничего не меняет до startExperiment.

Жизненный цикл

• startExperiment переводит эксперимент в running и записывает started_at. Если эксперимент уже запущен, ответ — 409. Запуск сбрасывает победителя, найденного в прошлом прогоне.
• stopExperiment переводит в stopped и записывает stopped_at. Если эксперимент не запущен, ничего не меняется.
• updateExperiment отвечает 409, пока эксперимент работает: остановите, измените, запустите снова.
• deleteExperiment удаляет эксперимент.

Запуск, остановка и продвижение отправляют вебхуки experiment.started, experiment.stopped и experiment.promoted.

Участие: заголовок сессии

Запрос участвует, только если в нём есть X-NOVA-SESSION-ID. Используйте один id на вкладку браузера; пакеты aacsearch-ui и виджет передают его сами. Без заголовка запрос никогда не участвует и получает исходные параметры.

Назначение детерминировано. Id эксперимента и id сессии хешируются в точку: если она ниже traffic, сессия участвует, и та же точка выбирает вариант с учётом весов. Одна и та же сессия всегда видит один и тот же вариант — без поиска в базе и без наших cookie.

Заголовок включает в эксперимент запросы searchCollection и multiSearch. Для getRecommendations используется заголовок или поле session_id в теле. Применённые варианты возвращаются в заголовке ответа:

X-Nova-Experiment: 8c1f…:popular

Его значение — <experiment_id>:<variant_id>; если на коллекции работает несколько экспериментов, значения перечисляются через запятую.

Измерение

Отчёты связывают ваши события с назначениями по сессии. В каждом событии передавайте в session_id то же значение, что и в X-NOVA-SESSION-ID, и добавляйте query_id, чтобы клики и покупки атрибутировались.

getExperimentReport считает по каждому варианту события в окне работы эксперимента (от started_at до stopped_at):

significant_vs_control либо true, либо отсутствует. Поля нет, пока у любой из сторон меньше 30 поисков или пока интервалы пересекаются. Варианты, убранные продвижением, остаются в отчёте.

Определение победителя

Ночная задача (04:00 UTC) строит тот же отчёт для каждого работающего эксперимента, у которого ещё не записан победитель. Победитель записывается, только когда выполнены оба условия:

• У контрольного варианта и у кандидата не меньше 30 поисков каждый.
• Кандидат significant_vs_control.

Если подходят несколько вариантов, побеждает вариант с большей конверсией, при равенстве — с большим числом поисков. Затем задача отправляет вебхук experiment.winner_detected:

{
  "experiment_id": "8c1f…",
  "collection": "products",
  "winner_variant_id": "popular",
  "conversion_rate": 0.042,
  "reason": "Clears control's confidence interval (1840 vs 1795 searches)."
}

Задача никогда не продвигает вариант сама: компромисс между выручкой и конверсией и сезонность по-прежнему оценивает человек. Подпишитесь на это событие, чтобы уведомлять ответственного, — настройка доставки, проверка подписи и обработка повторов описаны в разделе Вебхуки.

Продвижение и откат

await client.experiments.promoteExperiment({ experimentId, variant_id: "popular" });

Продвижение оставляет в variants только выбранный вариант и ставит traffic в 1. Эксперимент продолжает работать, так что каждая участвующая сессия получает победителя. Прежняя конфигурация и отчёт на этот момент сохраняются как ревизия. Неизвестный variant_id — 400.

rollbackExperimentPromotion восстанавливает варианты и трафик, сохранённые последним продвижением, и не меняет статус. Если отменять нечего или конфигурация с тех пор изменилась, ответ — 409.

Экран «Эксперименты» в консоли выполняет те же операции; см. Аналитика и качество.