图标的A/B测试
重要
仅发布的游戏才会显示A/B测试部分。如果游戏有一个草稿,请发布或删除它以测试图标。
图标和封面可能对您的游戏从目录中的启动产生重大影响。精心挑选的创意元素可以吸引更多玩家进入您的游戏。为了理解哪个图标和封面更适合您的项目,请为两种材料选项启动 A/B 测试。目录的用户将自动分成两组:
- 50% 的用户将看到控制组的材料;
- 50% 的用户将看到实验组的材料。
几天后,您将在 A/B icon test 标签页上 Yandex Games 控制台 看到图标和封面对目录用户转化率及游戏产品指标影响的初步数据。
备注
为不同的观众测试,我们提供了三种申请类型:
-
全部观众 — 允许测试草稿中所有语言的创意,并针对目录的全部观众。支持对部分观众进行实验接受。从灵活性和全面性的角度看,这是推荐的选项。
-
俄语观众 — 只有使用俄语界面的浏览器用户才会看到实验性创意。
-
国际观众 — 允许测试草稿中除俄语外的所有语言的创意。目录中大约有15%的国际观众。
启动 A/B 测试
步骤 1. 准备推广材料
准备新的图标和封面,并检查它们是否符合第8.3条的要求。
步骤 2. 创建请求
-
打开 Yandex Games 控制台。
-
选择所需的游戏。
-
转到 A/B icon test 标签页。
-
选择您想要提交申请的目标受众。
备注
对整个受众群体的测试 — 推荐的灵活测试创意的方法。
-
点击 Go to request。
步骤 3. 上传文件
点击 Upload 来附加实验图标和封面。
如果您同时为多种语言测试创意,并计划使用相同的图片,您可以通过使用选项
- 在顶部选项中上传图标和封面。它们将自动应用到所有语言。
- 如有需要,可以单独更改特定语言的图标和封面。
步骤 4. 提交游戏审核
点击 Submit for moderation。
备注
在前15分钟内,可以撤回审核请求。
处理结果
查看结果:
-
打开 Yandex Games 控制台。
-
选择所需的游戏。
-
转到 A/B icon test 标签页。
重要
实验的时间限制是14天。
页面顶部显示实验开始日期和它将自动结束的日期。
测试的首批结果将在几天后出现。为了获得统计上有意义的结果,请至少保持实验一周时间。
用于比较素材的是指标:
- Icon CTR in recommendations
- Cover CTR in recommendations
- Icon CTR in "My games"
- Conversion To Play
- Players
- Play time per player
- Play time
如果指标着色:
- 绿色 — 结果正面并且统计显著;
- 红色 — 结果负面并且统计显著。
如果指标没有任何颜色标记,就不能明确判断实验是否影响用户。
做出决定
重要
为了获得具有统计学意义的结果,需要将实验进行至少7天,以考虑玩家活动在一周内的变化。如果测试持续时间超过一周,即可开始根据实验结果做出决策。
-
打开 Yandex Games 控制台。
-
选择所需的游戏。
-
转到 A/B icon test 标签页。
-
根据指标颜色研究测试指标,并根据此决定:
-
绿色 — 点击 Accept the experiment,以使用实验图标和封面作为主要素材;
备注
您可以根据实验结果选择针对哪个受众群体应用实验。例如,如果数据显示俄语玩家的指标下降,但国际玩家没有,那么只针对国际受众使用实验性创意。在这种情况下,无需额外更新草稿。
-
红色 — 点击 Stop,以终止实验。测试将在14天后自动结束。
-
提示
不时地重新测试创意,以跟踪用户偏好、市场趋势和季节性波动的变化。
有90%的概率改进的指标与图标或封面的变化有关。
有90%的概率指标的下降与图标或封面的变化有关。