A/B-эксперименты

Шаг 1. Сформулируйте гипотезу

Эксперименты позволяют проверить, какие настройки кампаний в Директе наиболее эффективны для вашего бизнеса. Например, можно сравнивать кампании с разными креативами, акциями и посадочными страницами или проверять, как изменения настроек влияют на эффективность.

В рамках одного эксперимента лучше проверять только одну гипотезу с одним параметром.

Ограничения для A/B-экспериментов

• Общее количество активных экспериментов — не более 50.
• Количество активных экспериментов в одной кампании:
  • в Единой перфоманс-кампании — не более 5;
  • в медийных кампаниях — не более 4.
• Общее количество уникальных кампаний в эксперименте — не более 50.
• Количество вариантов в одном эксперименте — от 2 до 20.

Шаг 2. Создайте тестируемые кампании

В рамках эксперимента можно сравнивать только кампании или разные настройки в рамках одной кампании. Создайте две идентичные кампании, отличающиеся только настройкой, которую вы хотите проверить. Если необходимо протестировать разные ставки в рамках одной кампании, тогда добавьте одну и ту же кампанию в оба варианта.

Остановленная кампания будет запущена автоматически после добавления в нее эксперимента.

Шаг 3. Настройте эксперимент в Директе

A/B-эксперименты доступны в Единой перфоманс-кампании и медийных кампаниях.

Создайте новый эксперимент

Чтобы добавить новый A/B-эксперимент, воспользуйтесь одним из способов:

• В левом меню в разделе Библиотека нажмите A/B-эксперименты → Добавить эксперимент.

• В Дополнительных настройках кампании перейдите в блок A/B-эксперименты и нажмите Перейти в эксперименты → Добавить эксперимент.

• На странице Кампании рядом с названием нужной кампании нажмите значок с тремя точками и выберите в меню пункт A/B-эксперименты → Перейти в эксперименты → Добавить эксперимент.

  

Заполните блок Параметры

1. Выберите основную метрику эксперимента. Основная метрика отражает суть вашей гипотезы, но на подсчет результатов не влияет, в отчете будут рассчитаны все доступные метрики.

2. Укажите, через сколько дней после запуска эксперимента планируете анализировать отчет. Длительность отображает, через сколько дней вы ожидаете увидеть результат. Но сам эксперимент будет длиться, пока вы его не остановите.

3. Выберите счетчик Метрики и цель, по которой хотите получить статистику по конверсиям. В метриках «Конверсии» и «Конверсия %» по умолчанию учитываются все цели.

Выберите варианты кампаний

Определите количество тестируемых вариантов. В отчете с результатами эксперимента все варианты будут сравниваться с контрольным.

1. Выберите необходимые кампании в контрольном и тестируемых вариантах. В каждый вариант можно добавить одну или несколько кампаний.

2. Укажите процент выборки на каждый вариант. Рекомендуем делить аудиторию поровну. Проверьте, что бюджеты кампаний пропорциональны выборкам.

3. При необходимости включите корректировки. Они нужны, например, если вы хотите проверить разные ставки в рамках одной кампании. В таком случае добавьте одну и ту же кампанию в контрольный и тестируемый вариант и установите корректировки.

Как добавить кампанию в существующие эксперименты

Чтобы добавить кампанию в существующие эксперименты, воспользуйтесь одним из способов:

• В Дополнительных настройках кампании перейдите в блок A/B-эксперименты и нажмите Добавить.

• На странице Кампании рядом с названием нужной кампании нажмите значок с тремя точками и выберите в меню пункт A/B-эксперименты → Добавить.

• На странице Кампании выберите одну или несколько кампаний и нажмите Действия → A/B-эксперименты → Добавить в эксперимент.

• На странице Кампании в колонке Статус нажмите на отметку об экспериментах.

В списке экспериментов можно посмотреть их статус.

Шаг 4. Оцените статистику по эксперименту

Чтобы открыть отчет по эксперименту, в разделе Библиотека нажмите A/B-эксперименты → Название эксперимента → Отчёт или перейдите на вкладку Отчёт в настройках эксперимента.

В отчете будут подсчитаны все метрики. Основная метрика будет стоять на первом месте.

Отчет показывает значение метрик для каждого из тестируемых вариантов. Их можно развернуть и посмотреть значения по каждой кампании. Отчет строится на основе данных, доступных в Мастере отчетов.

В таблице с результатами используется цветовое выделение ячеек в зависимости от p-value. Если значение p‑value составляет менее 0,2, применяется слабое выделение, если менее 0,05 — яркое. Цветовое выделение ячеек зависит также от эффективности результата. Например, если количество показов увеличивается, ячейка окрашивается в зеленый цвет, а если увеличивается цена конверсии — в красный.

Разница показателей в процентах показана по отношению к контрольной группе.

В каждой ячейке таблицы указаны два значения метрики: нижнее — реальная абсолютная величина, верхнее — величина, умноженная на коэффициент выборки, чтобы соответствовать 100%.

Шаг 5. Завершите эксперимент

Проанализируйте, какой вариант вас устраивает и завершите эксперимент. Это можно сделать двумя способами:

• В отчете по умолчанию выбран вариант с наибольшим изменением по ключевой метрике. Если результат вас устраивает, нажмите Запустить на 100%. Выбранные кампании продолжат работать без ограничения по выборке эксперимента, а остальные будут остановлены.

• В таблице со списком экспериментов или в правом верхнем углу отчета нажмите Остановить эксперимент. Выберите все или некоторые кампании — они продолжат работать с текущими настройками и без ограничения по выборке. Если убрать все галочки — все кампании из эксперимента будут остановлены.

Остались вопросы?

Сканируйте QR-код или нажмите на него для перехода по ссылке.

При выборе Telegram, WhatsApp учитывайте, что Яндекс не контролирует, как сторонние мессенджеры хранят ваши данные и переписку на своей стороне, и не несет за это ответственность.

Написать в чат