图标的A/B测试

图标和封面可能对您的游戏从目录中的启动产生重大影响。精心挑选的创意元素可以吸引更多玩家进入您的游戏。为了理解哪个图标和封面更适合您的项目，请为两种材料选项启动 A/B 测试。目录的用户将自动分成两组：

• 50% 的用户将看到控制组的材料；
• 50% 的用户将看到实验组的材料。

几天后，您将在 A/B icon test 标签页上 Yandex Games 控制台 看到图标和封面对目录用户转化率及游戏产品指标影响的初步数据。

启动 A/B 测试

步骤 1. 准备推广材料

准备新的图标和封面，并检查它们是否符合第8.3条的要求。

步骤 2. 创建请求

1. 打开 Yandex Games 控制台。

2. 选择所需的游戏。

3. 转到 A/B icon test 标签页。

4. 选择您想要提交申请的目标受众。

   备注

   对整个受众群体的测试 — 推荐的灵活测试创意的方法。

5. 点击 Go to request。

步骤 3. 上传文件

点击 Upload 来附加实验图标和封面。

如果您同时为多种语言测试创意，并计划使用相同的图片，您可以通过使用选项 Apply icon and cover for other languages 来加快文件的上传速度（默认情况下此选项是开启的）：

1. 在顶部选项中上传图标和封面。它们将自动应用到所有语言。
2. 如有需要，可以单独更改特定语言的图标和封面。

步骤 4. 提交游戏审核

点击 Submit for moderation。

处理结果

查看结果：

1. 打开 Yandex Games 控制台。

2. 选择所需的游戏。

3. 转到 A/B icon test 标签页。

页面顶部显示实验开始日期和它将自动结束的日期。

测试的首批结果将在几天后出现。为了获得统计上有意义的结果，请至少保持实验一周时间。

用于比较素材的是指标：

• Icon CTR in recommendations
• Cover CTR in recommendations
• Icon CTR in "My games"
• Conversion To Play
• Players
• Play time per player
• Play time

如果指标着色：

• 绿色 — 结果正面并且统计显著；
• 红色 — 结果负面并且统计显著。

如果指标没有任何颜色标记，就不能明确判断实验是否影响用户。

做出决定

1. 打开 Yandex Games 控制台。

2. 选择所需的游戏。

3. 转到 A/B icon test 标签页。

4. 根据指标颜色研究测试指标，并根据此决定：

   • 绿色 — 点击 Accept the experiment，以使用实验图标和封面作为主要素材；

     备注

     您可以根据实验结果选择针对哪个受众群体应用实验。例如，如果数据显示俄语玩家的指标下降，但国际玩家没有，那么只针对国际受众使用实验性创意。在这种情况下，无需额外更新草稿。

   • 红色 — 点击 Stop，以终止实验。测试将在14天后自动结束。

常见问题

启动 A/B 测试后，应该关注产品指标还是只看点击率就够了？

最好关注产品指标。例如：一款国际象棋游戏使用了国际象棋图标和封面。开发者在 A/B 测试中将它们替换为纸牌和纸牌游戏图像。由于纸牌游戏的受众更广，开发者会获得更多点击量和更高的点击率，但产品指标不会提高，因为封面与内容不符。

可以同时启动 A/B 测试和发布游戏新版本吗？

封面和图标可能会影响产品指标，使其上升或下降。在 A/B 测试期间，它们需要特别关注。如果您发布游戏新版本，就无法区分新版本和实验的指标。因此，要更新游戏，需要先停止实验。

为什么启动 A/B 测试后指标有所改善，但没有被标记为绿色？

这意味着指标的提升尚未被认为具有统计学意义，因为收集的数据量还不够多。这些指标变化目前可能与实验无关。

如果 10 个实验的结果没有变色，而下一个 A/B 测试的指标标记为绿色，我可以接受这个实验吗？

评估系统给出的概率最高为 90%，表明这些值不是随机的。如果您进行了 11 个类似的实验，而只有一个标记为绿色，这可能只是巧合。为了确保获得的数据可靠，最好重复成功的实验。如果它再次显示相同的改进，成功的可能性就会高得多。

A/B 测试结果没有变色，是否意味着没有变化？

可能是这样。但也可能是当前的信息量不足以评估结果。

有90%的概率改进的指标与图标或封面的变化有关。

有90%的概率指标的下降与图标或封面的变化有关。