Эксперименты с кампаниями

Эксперименты позволят вам проверить, какие настройки рекламных кампаний в Директе наиболее эффективны для вашего бизнеса. Например, вы можете:
  • узнать, как влияют друг на друга кампании разных типов;
  • проанализировать зависимость конверсий на сайте от показов рекламы;
  • сравнить эффективность автоматических стратегий и ручного управления ставками.

С помощью экспериментов вы можете протестировать различные предположения об эффективности рекламы, комбинации настроек, типы кампаний и даже медиапланы.

Обучающее видео. Эксперименты

Посмотреть видео

Перед началом эксперимента

  1. Сформулируйте гипотезу, которую хотите проверить. Она должна затрагивать изменение одного параметра. В рамках одного эксперимента мы рекомендуем проверять только одну гипотезу.

  2. Убедитесь, что у вас есть доступ к экспериментам в Аудиториях, Директе и Метрике. Если его нет, обратитесь к вашему менеджеру в Яндексе.

  3. В Метрике должны быть настроены цели. Проводите эксперимент, если по интересующим вас целям набирается не менее 200 конверсий в месяц. Иначе результаты могут быть статистически недостоверными.

  4. Обратите внимание, что эксперимент невозможно провести для рекламы мобильных приложений и медийных кампаний со сделками.

Как провести эксперимент

Шаг 1. Создайте эксперимент в Аудиториях

На вкладке Эксперименты нажмите кнопку Создать эксперимент. Введите название и выберите счетчик Метрики, который хотите использовать для эксперимента. Укажите, на сколько сегментов и в каких долях нужно разделить аудиторию. Она случайным образом распределится по сегментам в соответствующих долях.

Аудиторию можно разделить на два или больше сегментов, не обязательно равномерных. Например, если вы боитесь сильного увеличения расходов из-за подключения какой-либо настройки, можно разделить аудиторию в соотношении 70% и 30%.

Подробнее о создании эксперимента и работе с ним читайте в Помощи Аудиторий.

Шаг 2. Настройте эксперимент в Директе
  1. Подготовьте кампании к тестированию. Сделайте столько копий исходной кампании, сколько сегментов в эксперименте. Кампании-копии необходимо остановить. Одну кампанию оставьте без изменений, в других — измените нужный параметр в соответствии с гипотезой. Все остальные параметры, рекламные материалы и бюджет должны быть одинаковыми.
  2. Во всех кампаниях добавьте счетчики Метрики, которые вы указали при создании эксперимента.
  3. Подключите кампании к эксперименту. На странице параметров в блоке Эксперименты нажмите Активные эксперименты и нацеливание → Изменить. Откроется окно настройки экспериментов.

    Отметьте нужные эксперименты. Одну кампанию можно одновременно подключить не более чем к 5 экспериментам. Укажите сегмент аудитории, которому хотите показывать объявления этой кампании.

    Примечание.

    Экспериментальные сегменты — это ограничение таргетинга. Например, если вы настроили показы на женщин 18-25 лет и нацеливаете кампанию на сегмент, содержащий 20% аудитории, то в него попадет 20% женщин 18-25 лет из всей аудитории.

  4. Вы можете настроить для выбранного сегмента корректировки ставок. Для этого в строке сегмента нажмите и укажите, на сколько процентов нужно увеличить или уменьшить ставки. Все ставки данной кампании изменятся на указанный процент.

  5. Остановите исходную кампанию и одновременно запустите кампании-копии.

Эксперимент начался. Реклама будет показываться в соответствии с настройками эксперимента. Он должен длиться достаточное количество времени, чтобы накопилась статистика для корректной оценки результата. Обычно это занимает не меньше месяца.

Другие примеры настройки экспериментов можно посмотреть в разделе Варианты использования.

Шаг 3. Отслеживайте статистику по эксперименту

Оценить результаты эксперимента помогут данные о расходах из Мастера отчетов и о конверсиях из Метрики. Именно они помогут понять, какое размещение рентабельнее. Другие показатели — например, клики, показы или CTR — не рассматриваются.

При просмотре статистики в Директе и Метрике необходимо:

  • выбрать одинаковые периоды;
  • убедиться, что эксперимент не прерывался на протяжении всего выбранного периода;
  • отфильтровать данные по региону показа, на котором вы проводили тестирование.
В Директе

В Мастере отчетов выберите СтолбцыРасход всего (руб.). Затем добавьте условие фильтрации Эксперименты и выберите нужный.

Данные о расходах по каждому сегменту находятся в столбце Расход всего (руб.).

В Метрике

Чтобы перейти к статистике эксперимента в Метрике, в Аудиториях нажмите кнопку Результаты около нужного счетчика. Вы увидите отчет о соответствующем эксперименте. Нажмите кнопку Метрики и выберите Достижения цели, которые интересуют вас в рамках эксперимента. Например, оформление заказа на сайте или добавление товара в корзину.

Подробнее читайте в Помощи Метрики.

Допустим, в результате эксперимента вы получили следующие результаты

Сегмент Доля сегмента, % Расходы, руб. Достижения цели
А 50 100 000 200
Б 50 100 000 500

По таким данным можно сделать следующие выводы: при одинаковых затратах сегмент Б принес на 150% (± 29% — с учетом погрешности) больше конверсий, чем А. При этом стоимость достижения цели уменьшилась на 60% (± 5%). Кампания, нацеленная на сегмент Б, эффективнее.

Подробнее о том, как принимать решения на основе статистики

Шаг 4. Остановите эксперимент

После того как вы проанализируете статистику эксперимента, завершите его. Одновременно остановите все тестируемые кампании. В окне настройки отключите эксперимент от успешной кампании, показ объявлений которой хотите продолжить.

Варианты использования

С помощью экспериментов вы можете проводить тестирование любой сложности.

Подключение медийной рекламы

Если у вас есть контекстная кампания, вы можете проверить, как скажется на показателях кампании и сайта подключение медийной рекламы.

В Аудиториях создайте эксперимент и укажите, какому проценту пользователей хотите показывать медийную рекламу. В Директе создайте медийную кампанию и нацельте ее на нужный сегмент эксперимента. Подключите контекстную кампанию к эксперименту. Распределите рекламный бюджет между кампаниями и установите соответствующие ограничения.

Посмотреть настройку
Мобильный трафик

Вы можете узнать, как повлияет на кампанию увеличение ставок для показов на мобильных устройствах.

В Аудиториях создайте эксперимент и укажите, для какого процента пользователей хотите повысить ставки для показов на мобильных. В Директе сделайте две копии исходной кампании, подключите их к эксперименту и в одной из кампаний увеличьте ставку на 100% для мобильных устройств с помощью корректировки. Нацельте копию исходной и тестовую кампании на соответствующие сегменты.

Посмотреть настройку
Корректировки ставок на сегменты

Вы можете посмотреть, как повышение ставок повлияет на количество конверсий.

В Аудиториях создайте эксперимент и укажите, для какого процента пользователей хотите повысить ставки. В Директе сделайте две копии исходной кампании, подключите их к эксперименту и в одной из них увеличьте ставки с помощью корректировки. Указывать сегмент при этом не нужно.

Посмотреть настройку