---
metadata:
  - name: generator
    content: Diplodoc Platform v5.52.0
alternate:
  - https://yandex.com/dev/games/doc/en/console/vq-test.md
  - https://yandex.com/dev/games/doc/hi/console/vq-test.md
  - https://yandex.com/dev/games/doc/ko/console/vq-test.md
  - https://yandex.com/dev/games/doc/ru/console/vq-test.md
  - https://yandex.com/dev/games/doc/tr/console/vq-test.md
  - https://yandex.com/dev/games/doc/vi/console/vq-test.md
  - https://yandex.com/dev/games/doc/zh/console/vq-test.md
  - href: zh/console/vq-test.md
    type: text/markdown
    title: Markdown version
  - href: ../llms.txt
    type: text/markdown
    title: llms.txt
---
> **Documentation Index:** Fetch the complete configuration index at https://yandex.com/dev/games/doc/zh/llms.txt

# 实验

<!-- source: zh/_includes/script-common.md -->
<!-- source: zh/_includes/script/index-js.md -->

<!-- endsource: zh/_includes/script/index-js.md -->

<!-- source: zh/_includes/script/requirements-js.md -->

<!-- endsource: zh/_includes/script/requirements-js.md -->

<!-- source: zh/_includes/script/image-modal-js.md -->

<!-- endsource: zh/_includes/script/image-modal-js.md -->
<!-- endsource: zh/_includes/script-common.md -->

要了解游戏的新变化如何影响用户行为，请运行 A/B 实验。对于您的实验，请选择您的全部或部分用户，并将他们分成几组。每个组将看到您应用的一个独特的实验版本。所有版本都是基于开发人员控制台中的单个版本使用[标记](https://yandex.com/dev/games/doc/zh/config.md)（键值对）创建的。

在报告中监控指标如何随时间变化，以确定哪些更改较为成功且提高了游戏的成效。

在创建实验之前：

1. 对实验进行规划：

   - 您想测试什么假设。
   - 不同版本之间有什么区别。
   - 您想实现什么目标。

1. 实现相关功能。为此，请使用通过 [ysdk.getFlags()](https://yandex.com/dev/games/doc/zh/sdk/sdk-config.md) 方法获取的条件和标志，并上传新版本的应用程序。
1. 如有需要，将新标记添加到[配置](https://yandex.com/dev/games/doc/zh/config.md)，并发布更改。

## 创建实验 {#create}

要创建实验：

1. 前往[开发人员控制台](https://games.yandex.com/console){.external}。
1. 选择一个应用。
1. 前往**Experiments**选项卡，然后点击**Create experiment**。

{% note warning %}

您一次不能运行两个以上的实验。

{% endnote %}

### 步骤 1. 名称和描述 {#name-and-description}

为您的实验添加名称。您还可以填写可选的**Description**字段，指明您正在测试的具体内容（例如，按钮颜色或有价值的奖励掉落率）、您的预期成效以及想要改进的指标。

### 步骤 2. 条件 {#conditions}

**Date range**

默认情况下，实验仅受时间限制。您可以定义实验的开始日期和持续时间。

{% note warning %}

实验最长持续时间为 30 天。

{% endnote %}

**Audience share**

设置参与实验的受众份额。

{% note warning %}

这不是占总用户数的份额。该参数根据满足您指定的所有条件的用户数计算得出。

{% endnote %}

{% cut "示例" %}

如果您的受众份额为 60%，则有 40% 的用户不会参与实验。参与实验的 60% 的用户将被分成几组。组数与实验版本数相对应，每组获得一个实验版本。例如，如果您的实验涵盖了 60% 的受众，且有三个版本，则意味着每个版本可获得 20% 的整体受众。此份额在每个版本的右侧指定。

{% endcut %}

**Conditions**

使用条件来限制实验受众。添加条件后，您的实验受众将仅包含满足所有这些条件的用户。您的**Audience share**将根据此受众计算。

要限制受众，请点击**Add condition**，选择所有必要条件，然后填写显示的字段。

可用条件：

- **Platforms**：移动设备、桌面设备或电视设备。
- **Languages**：将向其显示您的配置的用户设备上的语言。
- **Regions**：用户设备上设置的地区。
- **Client features**：您可以将自己的参数设置为键值对。例如：`param=value`。要使用 "AND" 运算符指定多个组合值，请列出用逗号分隔的参数。示例：`aparam=avalue`、`bparam=bvalue`。

### 步骤 3. 指标 {#metrics}

实验可用六项指标，将基于这六项指标构建实验结果报告。

<!-- source: zh/_includes/console/vq-metrics.md -->
#|
|| **指标** | **说明** ||
|| **Timespent per player** | 玩家平均每天在游戏中花费的分钟数。 ||
|| **Conversion To Play** | 游戏会话时长超过60秒的比例。 ||
|| **Interstitial shows per player** | 玩家每天观看[全屏广告](https://yandex.com/dev/games/doc/zh/console/adv-monetization.md#interstitial)的平均次数。 ||
|| **Rewarded shows per player** | 玩家每天观看[激励广告](https://yandex.com/dev/games/doc/zh/console/adv-monetization.md#rewarded)的平均次数。 ||
|| **Ad revenue delta**<span class="red">*</span> | 测试组与对照组的Yandex广告收入差异（以对照组收入为基准的百分比）。 ||
|| **In-app purchases per player** | 玩家每天进行[应用内购买](https://yandex.com/dev/games/doc/zh/console/purchases.md)的平均次数。 ||
|| **Ratio of players with in-app purchase**<span class="red">*</span> | 付费用户占每日应用活跃用户的比例（百分比显示）。 ||
|| **In-App revenue per player**<span class="red">*</span> | 日均每玩家应用内购买收入（单位为卢布）。 ||
|#

<span class="red">*</span>&nbsp;仅游戏所有者及具有**View income**权限的开发者可查看该指标。
<!-- endsource: zh/_includes/console/vq-metrics.md -->

### 步骤 4. 设置版本 {#set-up-variants}

您可以设置多个版本，作为实验的一部分向用户展示。我们建议使用当前版本的应用（未做任何更改）作为对照版本，但您也可以在该版本中设置更改。

{% note warning %}

一个实验最多可以有 26 个版本。

{% endnote %}

对照组和实验组的变更通过标志进行配置。要获取标志，请使用 [ysdk.getFlags()](https://yandex.com/dev/games/doc/zh/sdk/sdk-config.md) 方法。
您无需更改应用本身。标记采用 `string` 值类型。

1. 选择包含您要在实验中应用更改的版本的块。
1. 设置具有已更改参数的标记。

{% note warning %}

您不能在单个版本中添加或更改两个以上的标记。

{% endnote %}

您的受众将被分成相等的份额，其数量将与您创建的版本数量相对应。每个版本将面向数量大致相同的用户展示。

### 步骤 5. 保存并运行实验 {#save-and-run}

您可以立即开始实验，也可以将其保存为草稿，以便稍后编辑和运行。您可以随时检查实验。

#### 检查实验 {#check}

您可以检查实验版本，查看所设置的更改如何生效：

1. 确保您已为要检查的版本选择实验标记。
1. 在版本名称旁边的**Experiment testing**块中，点击链接或复制链接以在另一台设备上打开。
1. 测试应用是否可以使用所选的实验标记值。

测试版本时不考虑实验条件。

#### 样本量计算器 {#calculation}

在**Sample size calculator**块中，您可以评估在给定实验条件下实验结果是否具有统计显著性。

计算器用于计算最小可检测效应（Minimum Detectable Effect, MDE）。它根据当前数据和给定的显著性水平，确定可检测到的最小指标变化。

- **低MDE值**：即使指标变化幅度很小，也能检测到。

  {% note tip %}

  若要降低MDE，可以增加样本量或延长实验时间。

  {% endnote %}

- **高MDE值**：

  - 仅能检测到显著的变化。
  - 适用于小规模受众的实验。

填写计算器字段，以便它们对应于您的应用和实验的信息：

- **Total players per day** —— 每天的用户数量，考虑了实验条件但不包括样本大小。在 **Audience share**中指定最后一个。要计算 **Total players per day**的值，请使用[产品指标](https://yandex.com/dev/games/doc/zh/concepts/metric.md#product) **Players**。
- **Duration** —— 实验持续的天数。与[步骤 2. 条件](#conditions)中的 **Date range**字段相关。
- **Audience share** —— 参与实验的用户部分。与[步骤 2. 条件](#conditions)中的 **Audience share**字段相关。
- **Variants** —— 实验中的版本数量（从 2 到 26）。
- **Number of events per player** —— 平均每位玩家的目标事件数量。要计算此值，请将某个周期内的这些事件数量除以该周期内参与实验条件下的独特用户数量。选择目标事件取决于您优先考虑的指标。如果您想在一个实验中研究几个指标，请为每个指标进行计算。

**Borders of the detected effect**：此参数有助于您了解哪些指标可被视为具有统计意义。这些指标将位于指定边界之外：小于红色边界，大于绿色边界。位于各个边界之间的指标可能是对照版本转化的随机版本。如果范围太广，并且您想要寻找不太明显的指标变化，请尝试调整实验条件。例如，增加持续时间或受众份额。

#### 运行实验 {#run}

{% note warning %}

启动实验后，您将无法更改所选条件、标记和版本。

{% endnote %}

要启动实验，请点击**Save and run**。阅读简要的实验概述，如果一切正常，请点击**Run**。

实验启动后，您将能够在**Flags**选项卡上查看实验中使用的标记。您还可以在**Experiments**选项卡上查看初步报告。

## 实验结果报告 {#report}

在此报告中，您可以看到实验版本与对照版本相比具有统计显著性的指标变化。

### 如何阅读报告 {#how-to-read-report}

要查看报告：

1. 前往[开发人员控制台](https://games.yandex.com/console){.external}。
1. 选择一个应用。
1. 打开**Experiments**选项卡，然后点击实验名称下的**View results**。

在实验的简要说明下，您可以选择任何可用指标和报告的时间范围。图表将显示实验运行时所有测试版本的选定指标值。

在图表下方，您将看到一个包含以下数值的表格：

- **辅助指标**，例如**Number of unique players**。
- 可在图表上方的菜单中选择的**主要指标**。
- **Δ**：实验版本和对照版本中各个指标值之间的差异。
- **Δ，%**：实验版本和对照版本中各个指标值之间的差异，以对照版本指标值的百分比形式表示。
- **P 值**：统计标准测试结果的主要数字特征。如需详细了解该指标，请参阅[报告可以解决哪些问题](#tasks)。

如果指标颜色为：

* <span class="green">绿色</span>，结果为正值且具有[统计显著性](*positive)。
* <span class="red">红色</span>，结果为负值且具有[统计显著性](*negative)。

根据具体的 p 值，颜色强度有三个等级。阈值为 0.05、0.01 和 0.001。

如果指标没有任何颜色标记，就不能明确判断实验是否影响用户。

### 报告可以解决哪些问题 {#tasks}

实验将测试以下假设：

- **H0**：与对照版本相比，给定版本中的指标值没有变化。
- **H1**：与对照版本相比，给定版本中的指标值已发生变化。

采用的统计标准是使用细分方法的 Mann-Whitney U 测试。如果数据量较少，则对离散性进行修正。

P 值是评估实验结果的主要特征。在假设指标值实际上没有改变的情况下（示例中的 **H0** 假设），该值有助于确定获得至少与实际观察到的结果一样极端的测试结果的概率。如需详细了解，请参阅[维基百科关于 p 值的文章](https://en.wikipedia.org/wiki/P-value){.external}。

如果 **H0** 假设是正确的，则报告中不会突出显示该行。

务必要记住，接受 **H0** 假设并不意味着指标没有变化。您只能确保效果不高于 [MDE](*mde)。要获得较小的指标变化，您可以延长实验持续时间或扩大受众规模。要确定新值，请使用[样本量计算器](#calculation)。

如果 **H1** 假设得到证实，显著性水平为 p 值 <= 0.05，则报告中会突出显示此行。

通过比较 p 值和显著性水平来接受假设：P 值 <= alpha。默认 alpha 阈值为 0.05。

请务必了解，使用 alpha 与 I 型错误（假阳性）的概率相关。另一方面，将 alpha 设得太低是不合理的，因为这会增加 II 型错误（假阴性）和 MDE 的概率。

## 接受实验 {#accept}

1. 前往[开发人员控制台](https://games.yandex.com/console){.external}。
1. 选择一个应用。
1. 打开**Experiments**选项卡，然后点击实验名称下的**View results**。
1. 分析所有版本的测试结果并确定所做的更改是否成功。

要将实验版本用作主要版本，请点击**Add flags to config**。新值将在您应用的最新版本中提供。

如果您无法得出确切的结论，请尝试更改实验条件。要选择新的实验持续时间或受众份额，请使用[样本量计算器](#calculation)。

[*mde]: Minimum Detectable Effect —— 最小可检测效果。

[*positive]: 如果 p 值 <= 0.05，则指标改善与测试标记变化相关的可能性大于或等于 95%。如需详细了解，请参阅[{#T}](#tasks)。

[*negative]: 如果 p 值 <= 0.05，则指标下降与测试标记变化相关的可能性大于或等于 95%。如需详细了解，请参阅[{#T}](#tasks)。