图标的A/B测试
重要
仅发布的游戏才会显示A/B测试部分。
图标和封面可能对您的游戏从目录中的启动产生重大影响。精心挑选的创意元素可以吸引更多玩家进入您的游戏。为了理解哪个图标和封面更适合您的项目，请为两种材料选项启动 A/B 测试。目录的用户将自动分成两组：
- 50% 的用户将看到控制组的材料；
- 50% 的用户将看到实验组的材料。
几天后，您将在 A/B icon test 标签页上 Yandex Games 控制台 看到图标和封面对目录用户转化率及游戏产品指标影响的初步数据。
备注
为不同的观众测试，我们提供了三种申请类型：
-
全部观众 —— 允许测试草稿中所有语言的创意，并针对目录的全部观众。支持对部分观众进行实验接受。从灵活性和全面性的角度看，这是推荐的选项。
-
俄语观众 —— 只有使用俄语界面的浏览器用户才会看到实验性创意。
-
国际观众 —— 允许测试草稿中除俄语外的所有语言的创意。目录中大约有40%的国际观众。
启动 A/B 测试
步骤 1. 准备推广材料
准备新的图标和封面，并检查它们是否符合游戏要求的第8.3项。
步骤 2. 创建请求
-
打开 Yandex Games 控制台。
-
选择所需的游戏。
-
转到 A/B icon test 标签页。
-
选择您想要提交申请的目标受众。
提示
对整个受众群体的测试 —— 推荐的灵活测试创意的方法。
-
点击 Go to request。
步骤 3. 上传文件
点击 Upload 来附加实验图标和封面。
如果您同时为多种语言测试创意，并计划使用相同的图片，您可以通过使用选项 Apply icon and cover for other languages 来加快文件的上传速度（默认情况下此选项是开启的）：
- 在顶部选项中上传图标和封面。它们将自动应用到所有语言。
- 如有需要，可以单独更改特定语言的图标和封面。
步骤 4. 提交游戏审核
点击 Submit for moderation。在前15分钟内可以撤回请求。
处理结果
查看结果：
-
打开 Yandex Games 控制台。
-
选择所需的游戏。
-
转到 A/B icon test 标签页。
重要
实验的时间限制是14天。
页面顶部显示实验开始日期和它将自动结束的日期。
测试的首批结果将在几天后出现。为了获得统计上有意义的结果，请至少保持实验一周时间。
指标
用于比较素材的是指标：
|
指标 |
描述 |
|
Icon CTR in recommendations |
目录和精选集中图标点击总数与展示次数的比率。 |
|
Cover CTR in recommendations |
目录和精选集中封面点击总数与展示次数的比率。 |
|
Icon CTR in "My games" |
我的游戏板块中图标点击总数与展示次数的比率。 |
|
Conversion To Play |
持续时间超过60秒的游戏会话比例。 |
|
Player-days |
所选时间段内每天的活跃玩家总数。例如,连续两天登录的玩家将被计算两次。 |
|
Play time per player |
玩家一天内在游戏中花费的平均时间（分钟）。 |
|
Play time |
玩家每天在游戏中花费的总分钟数。 |
|
Revenue from the Yandex Advertising Network, % |
来自Yandex Advertising Network广告投放的收入占总收入的百分比。 |
|
In-app purchases |
实验期间应用内购买的数量。 |
|
In-app revenue, RUB |
实验期间应用内购买产生的收入。 |
备注
指标仅针对通过目录中的创意进入游戏的玩家进行统计。这有助于了解哪种创意更能吸引新受众。
如果指标着色：
- 绿色 —— 结果正面并且统计显著；
- 红色 —— 结果负面并且统计显著。
如果指标没有任何颜色标记，就不能明确判断实验是否影响用户。
做出决定
重要
为了获得具有统计学意义的结果，需要将实验进行至少7天，以考虑玩家活动在一周内的变化。如果测试持续时间超过一周，即可开始根据实验结果做出决策。
-
打开 Yandex Games 控制台。
-
选择所需的游戏。
-
转到 A/B icon test 标签页。
-
根据指标颜色研究测试指标，并根据此决定：
-
绿色 —— 点击 Accept the experiment，以使用实验图标和封面作为主要素材；
备注
您可以根据实验结果选择针对哪个受众群体应用实验。例如，如果数据显示俄语玩家的指标下降，但国际玩家没有，那么只针对国际受众使用实验性创意。在这种情况下，无需额外更新草稿。
-
红色 —— 点击 Stop，以终止实验。测试将在14天后自动结束。
-
提示
不时地重新测试创意，以跟踪用户偏好、市场趋势和季节性波动的变化。
您可以随时比较对照组和实验组的结果。为此，请在 Test History 板块中打开已完成的 A/B 测试。
常见问题
启动 A/B 测试后，应该关注产品指标还是只看点击率就够了？
最好关注产品指标。例如：一款国际象棋游戏使用了国际象棋图标和封面。开发者在 A/B 测试中将它们替换为纸牌和纸牌游戏图像。由于纸牌游戏的受众更广，开发者会获得更多点击量和更高的点击率，但产品指标不会提高，因为封面与内容不符。
可以同时启动 A/B 测试和发布游戏新版本吗？
可以，但有限制：在新版本中不能更改图标和封面，因为它们参与了A/B测试。
但是，请注意，实验性创意和游戏中的更改可能会影响相同的指标。如果您在A/B测试期间更新游戏，结果将变得不明确。为了保持实验的纯粹性，最好在发布重大更新之前等待A/B测试完成。
为什么启动 A/B 测试后指标有所改善，但没有被标记为绿色？
这意味着指标的提升尚未被认为具有统计学意义，因为收集的数据量还不够多。这些指标变化目前可能与实验无关。
如果 10 个实验的结果没有变色，而下一个 A/B 测试的指标标记为绿色，我可以接受这个实验吗？
评估系统给出的概率最高为 95%，表明这些值不是随机的。如果您进行了 11 个类似的实验，而只有一个标记为绿色，这可能只是巧合。为了确保获得的数据可靠，最好重复成功的实验。如果它再次显示相同的改进，成功的可能性就会高得多。
A/B 测试结果没有变色，是否意味着没有变化？
可能是这样。但也可能是当前的信息量不足以评估结果。
俄语玩家和国际玩家之间的平均点击率是如何计算的？
总点击率是所有点击总数与所有展示总数的比值，而不是各地区点击率的算术平均值。
例如：如果国际封面有 1000 次展示和 100 次点击（点击率 10%），而俄罗斯封面有 10 次展示和 10 次点击（点击率 100%），则总点击率为 (100 + 10) / (1000 + 10) ≈ 11%。
有95%的概率改进的指标与图标或封面的变化有关。
有95%的概率指标的下降与图标或封面的变化有关。