图标的A/B测试

重要

仅发布的游戏才会显示A/B测试部分。如果游戏有一个草稿,请发布或删除它以测试图标。

图标和封面可能对您的游戏从目录中的启动产生重大影响。精心挑选的创意元素可以吸引更多玩家进入您的游戏。为了理解哪个图标和封面更适合您的项目,请为两种材料选项启动 A/B 测试。目录的用户将自动分成两组:

  • 50% 的用户将看到控制组的材料;
  • 50% 的用户将看到实验组的材料。

几天后,您将在 A/B icon test 标签页上 Yandex Games 控制台 看到图标和封面对目录用户转化率及游戏产品指标影响的初步数据。

备注

为不同的观众测试,我们提供了三种申请类型:

  • 全部观众 — 允许测试草稿中所有语言的创意,并针对目录的全部观众。支持对部分观众进行实验接受。从灵活性和全面性的角度看,这是推荐的选项。

  • 俄语观众 — 只有使用俄语界面的浏览器用户才会看到实验性创意。

  • 国际观众 — 允许测试草稿中除俄语外的所有语言的创意。目录中大约有15%的国际观众。

启动 A/B 测试

步骤 1. 准备推广材料

准备新的图标和封面,并检查它们是否符合第8.3条的要求

步骤 2. 创建请求

  1. 打开 Yandex Games 控制台

  2. 选择所需的游戏。

  3. 转到 A/B icon test 标签页。

  4. 选择您想要提交申请的目标受众。

    备注

    对整个受众群体的测试 — 推荐的灵活测试创意的方法。

  5. 点击 Go to request

步骤 3. 上传文件

点击 Upload 来附加实验图标和封面。

如果您同时为多种语言测试创意,并计划使用相同的图片,您可以通过使用选项 Apply icon and cover for other languages 来加快文件的上传速度(默认情况下此选项是开启的):

  1. 在顶部选项中上传图标和封面。它们将自动应用到所有语言。
  2. 如有需要,可以单独更改特定语言的图标和封面。

步骤 4. 提交游戏审核

点击 Submit for moderation

备注

在前15分钟内,可以撤回审核请求。

处理结果

查看结果:

  1. 打开 Yandex Games 控制台

  2. 选择所需的游戏。

  3. 转到 A/B icon test 标签页。

重要

实验的时间限制是14天。

页面顶部显示实验开始日期和它将自动结束的日期。

测试的首批结果将在几天后出现。为了获得统计上有意义的结果,请至少保持实验一周时间。

用于比较素材的是指标

  • Icon CTR in recommendations
  • Cover CTR in recommendations
  • Icon CTR in "My games"
  • Conversion To Play
  • Players
  • Play time per player
  • Play time

如果指标着色:

  • 绿色 — 结果正面并且统计显著
  • 红色 — 结果负面并且统计显著

如果指标没有任何颜色标记,就不能明确判断实验是否影响用户。

做出决定

重要

为了获得具有统计学意义的结果,需要将实验进行至少7天,以考虑玩家活动在一周内的变化。如果测试持续时间超过一周,即可开始根据实验结果做出决策。

  1. 打开 Yandex Games 控制台

  2. 选择所需的游戏。

  3. 转到 A/B icon test 标签页。

  4. 根据指标颜色研究测试指标,并根据此决定:

    • 绿色 — 点击 Accept the experiment,以使用实验图标和封面作为主要素材;

      备注

      您可以根据实验结果选择针对哪个受众群体应用实验。例如,如果数据显示俄语玩家的指标下降,但国际玩家没有,那么只针对国际受众使用实验性创意。在这种情况下,无需额外更新草稿。

    • 红色 — 点击 Stop,以终止实验。测试将在14天后自动结束。

提示

不时地重新测试创意,以跟踪用户偏好、市场趋势和季节性波动的变化。

有90%的概率改进的指标与图标或封面的变化有关。

有90%的概率指标的下降与图标或封面的变化有关。

上一篇
下一篇