Инструменты для настройки эксперимента

Воспользуйтесь вспомогательными инструментами для более точной настройки эксперимента.

Калькулятор выборок

С помощью калькулятора выборок вы можете оценить, будет ли результат эксперимента статистически значимым при данном объеме аудитории.

Калькулятор рассчитывает MDE, который показывает наименьшее изменение метрики. По нему можно определить, насколько маленькие изменения удастся зафиксировать в эксперименте при текущих данных с заданными уровнями ошибок. Если показатель низкий, то можно увидеть изменения метрик даже на незначительный процент. Чтобы уменьшить MDE, увеличьте выборку или время проведения эксперимента. Если показатель высокий, то будут заметны только значительные изменения. Такой эксперимент можно провести на небольшой аудитории.

Заполните поля калькулятора так, чтобы они соответствовали информации о вашем приложении и эксперименте:

• Всего визитов в месяц — посещаемость экспериментальных страниц с учетом условий эксперимента, но без учета размеров выборок. Чтобы вычислить значение этого поля, воспользуйтесь данными из Метрики.

• Продолжительность — длительность эксперимента в днях, соотносится с полем Период показа.

• Доля аудитории — размер выборки, соотносится с полем Доля аудитории.

• Вариантов — количество вариантов в эксперименте, может принимать значения от 2 до 26.

• Конверсия метрики — процент пользователей, совершивших целевое действие в контрольном варианте. Целевое действие зависит от метрики. Если вы хотите получить статистически значимые результаты для всех метрик, то укажите здесь минимальную конверсию.

Границы детектируемого эффекта позволяют увидеть, какие показатели будут значимы статистически. Значимы будут те, которые лежат вне этих границ: меньше красной и больше зеленой. Показатели в диапазоне между ними могут быть случайным отклонением от конверсии контрольного варианта. Если этот диапазон слишком большой и вас интересуют менее выраженные изменения метрик, попробуйте изменить условия эксперимента.

Проверка эксперимента

Чтобы убедиться, что изменения применились, в блоке Проверка эксперимента у каждого из вариантов нажмите кнопку Проверить. Откроется версия сайта для выбранного варианта по сгенерированной Varioqub ссылке. Вы можете поделиться этой ссылкой в течение 24 часов с момента ее генерации. При повторном нажатии Проверить генерируется новая ссылка.

Редактирование запущенного эксперимента

Вы можете отредактировать запущенный эксперимент.

1. В Метрике перейдите на страницу Вариокуб → Эксперименты.

2. Нажмите меню → Редактировать рядом с названием эксперимента, который вы хотите отредактировать.

Вы попадете на страницу редактирования эксперимента, где сможете изменить параметры, которые установили при создании эксперимента.

Отключение выборки

При редактировании запущенного эксперимента вы можете отключить варианты эксперимента.

Для этого выберите вариант, который хотите отключить, и нажмите кнопку Отключить напротив названия этого варианта.

После отключения пользователи, которые изначально попали в этот вариант, перестанут видеть изменения эксперимента, как будто они вообще не попадали в этот эксперимент. Для пользователей из других вариантов ничего не меняется, они по-прежнему остаются в своем варианте.

Примеры экспериментов

Посмотрите примеры подключения и создания экспериментов на GitНub.

Вопросы и проблемы

При создании эксперимента все поля заблокированы.

А если нужных условий нет в интерфейсе Varioqub?

Как отключить тип эксперимента на всем сайте или странице?

Написать в службу поддержки

Minimum Detectable Effect — минимальный обнаруживаемый эффект.