A/B版本测试

想了解玩家对游戏更新的反应?可以通过A/B实验来验证。为此,通过开发人员控制台添加新的游戏版本。指定受众百分比和实验持续时间。 测试结束后,比较实验版本与主版本的关键指标,据此决定是否更新应用。

重要

仅已发布的游戏可启动实验测试

若测试期间存在其他干扰因素,可能导致实验结果失真。为保证数据有效性:

  • 测试期间请勿发布新版本
  • 避免同时进行其他A/B测试

为了研究细微改动对游戏指标的影响,请进行使用功能标志的A/B测试

步骤 1. 准备工作

准备一个新的实验性构建版本。它必须符合平台要求草稿材料

通过Yandex Games控制台上传:

  1. 选择目标游戏。
  2. 进入 Builds A/B Tests 标签页。
  3. 点击 Start A/B Test
  4. 填写 Experiment nameWhat’s new字段。描述新版本与游戏主版本的区别 — 这些信息将帮助审核人员更快地检查版本。
  5. AudienceDuration字段中选择所需的值。
  6. 点击 Choose file 上传游戏包
  7. 提交申请(Submit request),必要时使用 Edit submission 修改。
  8. 等待约5分钟完成构建检查,刷新页面查看结果:
    • 通过检查:显示 Build passed the check 通知。
    • 未通过:点击 Back to submission 修正后重新上传。
  9. 点击 Submit for moderation 进入审核。

步骤 2. 审核阶段

备注

提交审核后2小时内可撤回申请

3-5个工作日内,审核结果将显示在 Builds A/B Tests 标签页顶部:

实验自动启动:选定百分比的用户开始看到新的实验版本游戏,其余用户继续看到常规版本。

审核拒绝了新版本,因为对游戏所做的更改违反了要求。审核团队将向您在Yandex ID中指定的电子邮箱发送一封邮件,其中将详细说明拒绝的具体原因,并提供违反要求条款的链接。审核团队还将附上包含违规记录或截图的文件。

重新提交前请:

  1. 查阅相关规范的说明文档
  2. 修改游戏内容
  3. 重点复查之前违规的条款
  4. 使用审核设备同型号设备测试(邮件会注明设备型号)

注意:

  • 可无限次重新提交
  • 每次被拒后,再次提交需等待更长时间(每次增加24小时)

如需帮助,请联系技术支持

步骤 3. 启动实验

实验启动后,Builds A/B Tests标签页将显示测试数据:实验启动日期和自动结束日期。测试的首批结果将在几天后出现,并将以图表和表格形式显示。

对比版本的核心指标:

指标

说明

Timespent per player

玩家平均每天在游戏中花费的分钟数。

Interstitial shows per player

玩家每天观看全屏广告的平均次数。

Rewarded shows per player

玩家每天观看激励广告的平均次数。

In-app purchases per player

玩家每天进行应用内购买的平均次数。

Ratio of players with in-app purchase*

付费用户占每日应用活跃用户的比例(百分比显示)。

Conversion To Play

游戏会话时长超过60秒的比例。

Ad revenue delta*

测试组与对照组的Yandex广告收入差异(以对照组收入为基准的百分比)。

In-App revenue per player*

日均每玩家应用内购买收入(单位为卢布)。

* 仅游戏所有者及具有View income权限的开发者可查看该指标。

指标颜色说明:

  • 绿色 — 正向影响且统计显著;
  • 红色 — 负面影响且统计显著

如果指标没有任何颜色标记,则无法明确判断实验是否对用户产生影响。

重要

为获得有效用户行为数据,实验至少需持续1周。

计时将在审核员检查后开始。实验将在您在 Duration 字段中选择的时间后自动结束。要提前结束实验,请点击 StopYes, stop it

步骤 4. 结果处理

实验结束后选择:

  • Publish:将实验版本设为主版本(无需重新审核)。
  • Don’t publish:停止向用户展示实验版本。

确认后点击 Close 完成流程。

多重变量影响会导致无法判定原始改动的实际效果

新版本需与草稿中声明的游戏类型、年龄分级、标签及宣传素材保持一致

可能的选项:

  • 10% (5%/5%);
  • 20% (10%/10%);
  • 50% (25%/25%);
  • 100% (50%/50%)。

可能的选项:

  • 7 天;
  • 14 天;
  • 21 天;
  • 28 天。

ZIP压缩包要求:

  • ≤ 100 MB
  • 仅含单个 index.html 文件

95%置信度确认指标提升源自版本更新

95%置信度确认指标下降源自版本更新

上一篇
下一篇