A/B 实验^β

第 1 步： 制定假设

使用实验来检验哪些 Yandex Direct 广告系列设置对您的业务最有效。 例如，您可以比较具有不同广告创意、促销活动和着陆页的广告系列，或者检查更改各种设置如何影响广告系列的效果。

最好在单个实验中只测试与一个参数相关的一个假设。

第 2 步： 创建测试广告系列

实验仅允许比较广告系列，或同一广告系列的不同设置。 创建两个完全相同的广告系列，仅在您想要测试的设置上有所不同。 如果您想在单个广告系列内测试不同的出价，请将相同的广告系列添加到两个方案中。

第 3 步： 在 Yandex Direct 中设置实验

在 Library → A/B experiments^β 下创建实验。

填写参数

1. 选择实验的主要指标 主要指标反映了您假设的性质，但不会影响报表中包含的结果：无论如何，所有可用指标都会被计算在内。

2. 请注明从实验开始到计划分析报告之间应间隔多少天。 此时段表示您希望在看到明显结果之前 等待的天数。 请注意，实验将一直运行，直到您停止。

3. 选择一个 Yandex Metrica 计数器和您想收集转化统计数据的目标。 默认情况下，所有转化都计入“转化量”和“转化率 (%)”指标。

选择广告系列方案

决定您需要测试多少个方案。 包含实验结果的报表会将所有方案与对照方案进行比较。

1. 为对照方案和测试方案选择所需的广告系列。 一个方案可以有一个或多个广告系列。

2. 指定每个方案的样本百分比。 我们建议将受众平均分配到样本中。 确保广告系列预算与其样本大小成比例。

3. 根据需要启用出价调整。 例如，如果您想在一个广告系列内测试不同的出价，就可能需要用到这个功能。 在这种情况下，将相同的广告系列添加到对照方案和测试方案，并设置出价调整。

第 4 步： 评估实验统计数据

要打开实验报表，请在 Library 下点击 A/B experiments^β → Experiment name → Report ，或转到实验设置中的 Report 标签页。

报表包含所有指标的值。 您的主要指标会先显示。

报表显示每个测试方案的指标值。 您可以展开来查看每个广告系列的值。 报表基于报表大师中的可用数据。

结果表中的单元格根据其 p 值进行颜色编码。 P 值小于 0.2 时会有轻微的高亮显示，而小于 0.05 时则会用明亮的颜色高亮显示。 单元格的高亮颜色还取决于结果的有效性。 例如，如果展示量增加，则相应的单元格变为绿色；如果转化成本上升，则单元格变为红色。

显示的百分比差异是相对于对照组的。

每个表格单元格包含两个指标值：下方是实际的绝对值，上方是将该值乘以抽样因子后代表 100% 整体的值。

第 5 步： 结束实验

分析结果，决定最佳方案，并完成实验。 要完成此操作，可以使用两种方法：

• 默认情况下，报表会选择主要指标改善最大的方案。 如果您对结果满意，点击 Launch for 100%。 所选广告系列将继续运行，没有任何样本大小限制，而其他广告系列将停止。

• 在包含实验列表的表格中，或在报表的右上角，点击 Stop experiment。 选择所有广告系列或其中一些广告系列：它们将继续按照当前设置运行，且没有任何样本大小限制。 如果清除所有复选框，则实验中的所有广告系列都将停止。

有问题吗？

联系我们