A/B版本测试
想了解玩家对游戏更新的反应?可以通过A/B实验来验证。为此,通过开发人员控制台添加新的游戏版本。指定受众百分比和实验持续时间。 测试结束后,比较实验版本与主版本的关键指标,据此决定是否更新应用。
重要
仅已发布的游戏可启动实验测试
若测试期间存在其他干扰因素,可能导致实验结果失真。为保证数据有效性:
- 测试期间请勿发布新版本
- 避免同时进行其他A/B测试
为了研究细微改动对游戏指标的影响,请进行使用功能标志的A/B测试。
步骤 1. 准备工作
准备一个新的实验性构建版本。它必须符合平台要求和草稿材料。
通过Yandex Games控制台上传:
- 选择目标游戏。
- 进入 Builds A/B Tests 标签页。
- 点击 Start A/B Test。
- 填写 Experiment name 和 What’s new字段。描述新版本与游戏主版本的区别 — 这些信息将帮助审核人员更快地检查版本。
- 在Audience和Duration字段中选择所需的值。
- 点击 Choose file 上传游戏包。
- 提交申请(Submit request),必要时使用 Edit submission 修改。
- 等待约5分钟完成构建检查,刷新页面查看结果:
- 通过检查:显示 Build passed the check 通知。
- 未通过:点击 Back to submission 修正后重新上传。
- 点击 Submit for moderation 进入审核。
步骤 2. 审核阶段
备注
提交审核后2小时内可撤回申请
3-5个工作日内,审核结果将显示在 Builds A/B Tests 标签页顶部:
实验自动启动:选定百分比的用户开始看到新的实验版本游戏,其余用户继续看到常规版本。
步骤 3. 启动实验
实验启动后,Builds A/B Tests标签页将显示测试数据:实验启动日期和自动结束日期。测试的首批结果将在几天后出现,并将以图表和表格形式显示。
对比版本的核心指标:
|
指标 |
说明 |
|
Timespent per player |
玩家平均每天在游戏中花费的分钟数。 |
|
Interstitial shows per player |
玩家每天观看全屏广告的平均次数。 |
|
Rewarded shows per player |
玩家每天观看激励广告的平均次数。 |
|
In-app purchases per player |
玩家每天进行应用内购买的平均次数。 |
|
Ratio of players with in-app purchase* |
付费用户占每日应用活跃用户的比例(百分比显示)。 |
|
Conversion To Play |
游戏会话时长超过60秒的比例。 |
|
Ad revenue delta* |
测试组与对照组的Yandex广告收入差异(以对照组收入为基准的百分比)。 |
|
In-App revenue per player* |
日均每玩家应用内购买收入(单位为卢布)。 |
* 仅游戏所有者及具有View income权限的开发者可查看该指标。
指标颜色说明:
- 绿色 — 正向影响且统计显著;
- 红色 — 负面影响且统计显著。
如果指标没有任何颜色标记,则无法明确判断实验是否对用户产生影响。
重要
为获得有效用户行为数据,实验至少需持续1周。
计时将在审核员检查后开始。实验将在您在 Duration 字段中选择的时间后自动结束。要提前结束实验,请点击 Stop → Yes, stop it。
步骤 4. 结果处理
实验结束后选择:
- Publish:将实验版本设为主版本(无需重新审核)。
- Don’t publish:停止向用户展示实验版本。
确认后点击 Close 完成流程。
多重变量影响会导致无法判定原始改动的实际效果
新版本需与草稿中声明的游戏类型、年龄分级、标签及宣传素材保持一致
可能的选项:
- 10% (5%/5%);
- 20% (10%/10%);
- 50% (25%/25%);
- 100% (50%/50%)。
可能的选项:
- 7 天;
- 14 天;
- 21 天;
- 28 天。
ZIP压缩包要求:
- ≤ 100 MB
- 仅含单个
index.html文件
95%置信度确认指标提升源自版本更新
95%置信度确认指标下降源自版本更新