---
metadata:
  - name: generator
    content: Diplodoc Platform v5.52.0
alternate:
  - https://yandex.com/dev/games/doc/en/concepts/ab-test.md
  - https://yandex.com/dev/games/doc/hi/concepts/ab-test.md
  - https://yandex.com/dev/games/doc/ko/concepts/ab-test.md
  - https://yandex.com/dev/games/doc/ru/concepts/ab-test.md
  - https://yandex.com/dev/games/doc/tr/concepts/ab-test.md
  - https://yandex.com/dev/games/doc/vi/concepts/ab-test.md
  - https://yandex.com/dev/games/doc/zh/concepts/ab-test.md
  - href: zh/concepts/ab-test.md
    type: text/markdown
    title: Markdown version
  - href: ../llms.txt
    type: text/markdown
    title: llms.txt
---
> **Documentation Index:** Fetch the complete configuration index at https://yandex.com/dev/games/doc/zh/llms.txt

# 图标的A/B测试

<!-- source: zh/_includes/script-common.md -->
<!-- source: zh/_includes/script/index-js.md -->

<!-- endsource: zh/_includes/script/index-js.md -->

<!-- source: zh/_includes/script/requirements-js.md -->

<!-- endsource: zh/_includes/script/requirements-js.md -->

<!-- source: zh/_includes/script/image-modal-js.md -->

<!-- endsource: zh/_includes/script/image-modal-js.md -->
<!-- endsource: zh/_includes/script-common.md -->

{% note warning %}

仅发布的游戏才会显示A/B测试部分。

{% endnote %}

图标和封面可能对您的游戏从目录中的启动产生重大影响。精心挑选的创意元素可以吸引更多玩家进入您的游戏。为了理解哪个图标和封面更适合您的项目，请为两种材料选项启动 A/B 测试。目录的用户将自动分成两组：

- 50% 的用户将看到控制组的材料；
- 50% 的用户将看到实验组的材料。

几天后，您将在 **A/B icon test** 标签页上 [Yandex Games 控制台](https://games.yandex.com/console){.external} 看到图标和封面对目录用户转化率及游戏产品指标影响的初步数据。

{% note info %}

为不同的观众测试，我们提供了三种申请类型：

- 全部观众 —— 允许测试草稿中所有语言的创意，并针对目录的全部观众。支持对部分观众进行实验接受。从灵活性和全面性的角度看，这是推荐的选项。

- 俄语观众 —— 只有使用俄语界面的浏览器用户才会看到实验性创意。

- 国际观众 —— 允许测试草稿中除俄语外的所有语言的创意。目录中大约有40%的国际观众。

{% endnote %}



## 启动 A/B 测试 {#run}

### 步骤 1. 准备推广材料 {#prepare-materials}

准备新的图标和封面，并检查它们是否符合游戏要求的[第8.3项](https://yandex.com/dev/games/doc/zh/concepts/requirements.md#8-3)。


### 步骤 2. 创建请求 {#create-request}

1. 打开 [Yandex Games 控制台](https://games.yandex.com/console){.external}。

1. 选择所需的游戏。

1. 转到 **A/B icon test** 标签页。

1. 选择您想要提交申请的目标受众。

   {% note tip %}

   对整个受众群体的测试 —— 推荐的灵活测试创意的方法。

   {% endnote %}

1. 点击 **Go to request**。


### 步骤 3. 上传文件 {#upload-files}

点击 **Upload** 来附加实验图标和封面。

如果您同时为多种语言测试创意，并计划使用相同的图片，您可以通过使用选项 ![](../_images/icons/toggle.svg) **Apply icon and cover for other languages** 来加快文件的上传速度（默认情况下此选项是开启的）：

1. 在顶部选项中上传图标和封面。它们将自动应用到所有语言。
1. 如有需要，可以单独更改特定语言的图标和封面。


### 步骤 4. 提交游戏审核 {#submit-for-moderation}

{% note warning %}

一次只能进行一种审核：[草稿](https://yandex.com/dev/games/doc/zh/console/add-new-game.md#step-moderation-game)、创意A/B测试或[版本A/B测试](https://yandex.com/dev/games/doc/zh/console/ab-builds.md#moderation)。在审核A/B测试的创意时，其他类型的审核将不可用。

{% endnote %}

点击 **Submit for moderation**。在前15分钟内可以撤回请求。



## 处理结果 {#results}

查看结果：

1. 打开 [Yandex Games 控制台](https://games.yandex.com/console){.external}。

1. 选择所需的游戏。

1. 转到 **A/B icon test** 标签页。

{% note warning %}

实验的时间限制是14天。

{% endnote %}

页面顶部显示实验开始日期和它将自动结束的日期。

测试的首批结果将在几天后出现。为了获得统计上有意义的结果，请至少保持实验一周时间。


### 指标 {#metrics}

用于比较素材的是[指标](https://yandex.com/dev/games/doc/zh/concepts/metric.md)：

#|
|| **指标** | **描述** ||
|| **Icon CTR in recommendations** | 目录和精选集中图标点击总数与展示次数的比率。 ||
|| **Cover CTR in recommendations** | 目录和精选集中封面点击总数与展示次数的比率。 ||
|| **Icon CTR in "My games"** | **我的游戏**板块中图标点击总数与展示次数的比率。 ||
|| **Conversion To Play** | 持续时间超过60秒的游戏会话比例。 ||
|| **Player-days** | 所选时间段内每天的活跃玩家总数。例如,连续两天登录的玩家将被计算两次。 ||
|| **Play time per player** | 玩家一天内在游戏中花费的平均时间（分钟）。 ||
|| **Play time** | 玩家每天在游戏中花费的总分钟数。 ||
|| **Revenue from the Yandex Advertising Network, %** | 来自Yandex Advertising Network广告投放的收入占总收入的百分比。 ||
|| **In-app purchases** | 实验期间应用内购买的数量。 ||
|| **In-app revenue, RUB** | 实验期间应用内购买产生的收入。 ||
|#

{% note info %}

指标仅针对通过目录中的创意进入游戏的玩家进行统计。这有助于了解哪种创意更能吸引新受众。

{% endnote %}

如果指标着色：

* <span class="green">绿色</span> —— 结果正面并且[统计显著](*positive)；
* <span class="red">红色</span> —— 结果负面并且[统计显著](*negative)。

如果指标没有任何颜色标记，就不能明确判断实验是否影响用户。



## 做出决定 {#decision-making}

{% note warning %}

为了获得具有统计学意义的结果，需要将实验进行至少7天，以考虑玩家活动在一周内的变化。如果测试持续时间超过一周，即可开始根据实验结果做出决策。

{% endnote %}

1. 打开 [Yandex Games 控制台](https://games.yandex.com/console){.external}。
1. 选择所需的游戏。
1. 转到 **A/B icon test** 标签页。
1. 根据指标颜色研究测试指标，并根据此决定：

   - <span class="green">绿色</span> —— 点击 **Accept the experiment**，以使用实验图标和封面作为主要素材；

      {% note info %}

      您可以根据实验结果选择针对哪个受众群体应用实验。例如，如果数据显示俄语玩家的指标下降，但国际玩家没有，那么只针对国际受众使用实验性创意。在这种情况下，无需额外更新草稿。

      {% endnote %}

   - <span class="red">红色</span> —— 点击 **Stop**，以终止实验。测试将在14天后自动结束。

{% note tip %}

不时地重新测试创意，以跟踪用户偏好、市场趋势和季节性波动的变化。

您可以随时比较对照组和实验组的结果。为此，请在 **Test History** 板块中打开已完成的 A/B 测试。

{% endnote %}



## 常见问题 {#faq}

{% cut "**启动 A/B 测试后，应该关注产品指标还是只看点击率就够了？**" %} {#after-test-observation}

最好关注产品指标。例如：一款国际象棋游戏使用了国际象棋图标和封面。开发者在 A/B 测试中将它们替换为纸牌和纸牌游戏图像。由于纸牌游戏的受众更广，开发者会获得更多点击量和更高的点击率，但产品指标不会提高，因为封面与内容不符。

{% endcut %}

{% cut "**可以同时启动 A/B 测试和发布游戏新版本吗？**" %} {#test-and-update}

可以，但有限制：在新版本中不能更改图标和封面，因为它们参与了A/B测试。

但是，请注意，实验性创意和游戏中的更改可能会影响相同的指标。如果您在A/B测试期间更新游戏，结果将变得不明确。为了保持实验的纯粹性，最好在发布重大更新之前等待A/B测试完成。

{% endcut %}

{% cut "**为什么启动 A/B 测试后指标有所改善，但没有被标记为绿色？**" %} {#no-green}

这意味着指标的提升尚未被认为具有统计学意义，因为收集的数据量还不够多。这些指标变化目前可能与实验无关。

{% endcut %}

{% cut "**如果 10 个实验的结果没有变色，而下一个 A/B 测试的指标标记为绿色，我可以接受这个实验吗？**" %} {#color-difference}

评估系统给出的概率最高为 95%，表明这些值不是随机的。如果您进行了 11 个类似的实验，而只有一个标记为绿色，这可能只是巧合。为了确保获得的数据可靠，最好重复成功的实验。如果它再次显示相同的改进，成功的可能性就会高得多。

{% endcut %}

{% cut "**A/B 测试结果没有变色，是否意味着没有变化？**" %} {#no-color}

可能是这样。但也可能是当前的信息量不足以评估结果。

{% endcut %}

{% cut "**俄语玩家和国际玩家之间的平均点击率是如何计算的？**" %} {#ctr}

总点击率是所有点击总数与所有展示总数的比值，而不是各地区点击率的算术平均值。

例如：如果国际封面有 1000 次展示和 100 次点击（点击率 10%），而俄罗斯封面有 10 次展示和 10 次点击（点击率 100%），则总点击率为 (100 + 10) / (1000 + 10) ≈ 11%。

{% endcut %}

[*positive]: 有95%的概率改进的指标与图标或封面的变化有关。

[*negative]: 有95%的概率指标的下降与图标或封面的变化有关。