图标的A/B测试

重要

仅发布的游戏才会显示A/B测试部分。如果游戏有一个草稿，请发布或删除它以测试图标。

图标和封面可能对您的游戏从目录中的启动产生重大影响。精心挑选的创意元素可以吸引更多玩家进入您的游戏。为了理解哪个图标和封面更适合您的项目，请为两种材料选项启动 A/B 测试。目录的用户将自动分成两组：

50% 的用户将看到控制组的材料；
50% 的用户将看到实验组的材料。

几天后，您将在 A/B icon test 标签页上 Yandex Games 控制台看到图标和封面对目录用户转化率及游戏产品指标影响的初步数据。

备注

为不同的观众测试，我们提供了三种申请类型：

全部观众 — 允许测试草稿中所有语言的创意，并针对目录的全部观众。支持对部分观众进行实验接受。从灵活性和全面性的角度看，这是推荐的选项。
俄语观众 — 只有使用俄语界面的浏览器用户才会看到实验性创意。
国际观众 — 允许测试草稿中除俄语外的所有语言的创意。目录中大约有15%的国际观众。

启动 A/B 测试

步骤 1. 准备推广材料

准备新的图标和封面，并检查它们是否符合第8.3条的要求。

步骤 2. 创建请求

打开 Yandex Games 控制台。
选择所需的游戏。
转到 A/B icon test 标签页。
选择您想要提交申请的目标受众。

备注

对整个受众群体的测试 — 推荐的灵活测试创意的方法。
点击 Go to request。

步骤 3. 上传文件

点击 Upload 来附加实验图标和封面。

如果您同时为多种语言测试创意，并计划使用相同的图片，您可以通过使用选项 Apply icon and cover for other languages 来加快文件的上传速度（默认情况下此选项是开启的）：

在顶部选项中上传图标和封面。它们将自动应用到所有语言。
如有需要，可以单独更改特定语言的图标和封面。

步骤 4. 提交游戏审核

点击 Submit for moderation。

备注

在前15分钟内，可以撤回审核请求。

处理结果

查看结果：

打开 Yandex Games 控制台。
选择所需的游戏。
转到 A/B icon test 标签页。

重要

实验的时间限制是14天。

页面顶部显示实验开始日期和它将自动结束的日期。

测试的首批结果将在几天后出现。为了获得统计上有意义的结果，请至少保持实验一周时间。

指标

用于比较素材的是指标：

指标	描述
Icon CTR in recommendations	目录和精选集中图标点击总数与展示次数的比率。
Cover CTR in recommendations	目录和精选集中封面点击总数与展示次数的比率。
Icon CTR in "My games"	我的游戏板块中图标点击总数与展示次数的比率。
Conversion To Play	持续时间超过60秒的游戏会话比例。
Players	每日独立玩家总数。
Play time per player	玩家一天内在游戏中花费的平均时间（分钟）。
Play time	玩家一天内在游戏中花费的总时间（分钟）。
Revenue from the Yandex Advertising Network, %	来自Yandex Advertising Network广告投放的收入占总收入的百分比。
In-app purchases	实验期间应用内购买的数量。
In-app revenue, RUB	实验期间应用内购买产生的收入。

如果指标着色：

绿色 — 结果正面并且统计显著；
红色 — 结果负面并且统计显著。

如果指标没有任何颜色标记，就不能明确判断实验是否影响用户。

做出决定

重要

为了获得具有统计学意义的结果，需要将实验进行至少7天，以考虑玩家活动在一周内的变化。如果测试持续时间超过一周，即可开始根据实验结果做出决策。

打开 Yandex Games 控制台。
选择所需的游戏。
转到 A/B icon test 标签页。
根据指标颜色研究测试指标，并根据此决定：
- 绿色 — 点击 Accept the experiment，以使用实验图标和封面作为主要素材；
  
  备注
  
  您可以根据实验结果选择针对哪个受众群体应用实验。例如，如果数据显示俄语玩家的指标下降，但国际玩家没有，那么只针对国际受众使用实验性创意。在这种情况下，无需额外更新草稿。
- 红色 — 点击 Stop，以终止实验。测试将在14天后自动结束。

提示

不时地重新测试创意，以跟踪用户偏好、市场趋势和季节性波动的变化。

常见问题

启动 A/B 测试后，应该关注产品指标还是只看点击率就够了？

最好关注产品指标。例如：一款国际象棋游戏使用了国际象棋图标和封面。开发者在 A/B 测试中将它们替换为纸牌和纸牌游戏图像。由于纸牌游戏的受众更广，开发者会获得更多点击量和更高的点击率，但产品指标不会提高，因为封面与内容不符。

可以同时启动 A/B 测试和发布游戏新版本吗？

封面和图标可能会影响产品指标，使其上升或下降。在 A/B 测试期间，它们需要特别关注。如果您发布游戏新版本，就无法区分新版本和实验的指标。因此，要更新游戏，需要先停止实验。

为什么启动 A/B 测试后指标有所改善，但没有被标记为绿色？

这意味着指标的提升尚未被认为具有统计学意义，因为收集的数据量还不够多。这些指标变化目前可能与实验无关。

如果 10 个实验的结果没有变色，而下一个 A/B 测试的指标标记为绿色，我可以接受这个实验吗？

评估系统给出的概率最高为 90%，表明这些值不是随机的。如果您进行了 11 个类似的实验，而只有一个标记为绿色，这可能只是巧合。为了确保获得的数据可靠，最好重复成功的实验。如果它再次显示相同的改进，成功的可能性就会高得多。

A/B 测试结果没有变色，是否意味着没有变化？

可能是这样。但也可能是当前的信息量不足以评估结果。

这篇文章是否有用？

有机推广

促销类型