A/B版本测试
想了解玩家对游戏更新的反应?可以通过A/B实验来验证。通过开发人员控制台添加新版本游戏后,该版本将在两周内面向半数用户展示。测试结束后,比较实验版本与主版本的关键指标,据此决定是否更新应用。
重要
仅已发布的游戏可启动实验测试
若测试期间存在其他干扰因素,可能导致实验结果失真。为保证数据有效性:
- 测试期间请勿发布新版本
- 避免同时进行其他A/B测试
为了研究细微改动对游戏指标的影响,请进行使用功能标志的A/B测试。
步骤1. 准备工作
准备符合以下要求的实验版本:
- 平台规范
- 草稿材料
通过Yandex Games控制台上传:
- 选择目标游戏
- 进入 Builds A/B Tests 标签页
- 点击 Start A/B Test
- 填写:
- Experiment name(实验名称)
- What’s new(版本说明)——清晰描述改动内容可加速审核
- 点击 Choose file 上传游戏包
- 提交申请(Submit request),必要时使用 Edit submission 修改
- 等待约5分钟完成构建检查,刷新页面查看结果:
- 通过检查:显示 Build passed the check 通知
- 未通过:点击 Back to submission 修正后重新上传
- 点击 Submit for moderation 进入审核
步骤2. 审核阶段
备注
提交审核后2小时内可撤回申请
3-5个工作日内,审核结果将显示在 Builds A/B Tests 标签页顶部:
实验自动开始:50%用户看到新版本,其余用户继续使用原版本
步骤3. 启动实验
实验启动后,Builds A/B Tests 标签页将显示:
- 实验起止日期
- 数日后生成数据报表
对比版本的核心指标:
指标 |
说明 |
Timespent per player |
玩家平均每天在游戏中花费的分钟数。 |
Interstitial shows per player |
玩家每天观看全屏广告的平均次数。 |
Rewarded shows per player |
玩家每天观看激励广告的平均次数。 |
In-app purchases per player |
玩家每天进行应用内购买的平均次数。 |
Ratio of players with in-app purchase* |
付费用户占每日应用活跃用户的比例(百分比显示)。 |
Conversion To Play |
游戏会话时长超过60秒的比例。 |
Ad revenue delta* |
测试组与对照组的Yandex广告收入差异(以对照组收入为基准的百分比)。 |
In-App revenue per player* |
日均每玩家应用内购买收入(单位为卢布)。 |
* 仅游戏所有者及具有View income权限的开发者可查看该指标。
指标颜色说明:
- 绿色 — 正向影响且统计显著
- 红色 — 负面影响且统计显著
- 无颜色标记 — 数据波动在正常范围内
重要
为获得有效用户行为数据,实验至少需持续1周
默认14天后自动结束实验。如需提前终止: 点击 Stop → Yes, stop it
步骤4. 结果处理
实验结束后选择:
- Publish:将实验版本设为主版本(无需重新审核)
- Don’t publish:停止向用户展示实验版本
确认后点击 Close 完成流程
多重变量影响会导致无法判定原始改动的实际效果
新版本需与草稿中声明的游戏类型、年龄分级、标签及宣传素材保持一致
可手动提前终止,但建议至少运行1周以获取有效数据
ZIP压缩包要求:
- ≤ 100 MB
- 仅含单个
index.html
文件
95%置信度确认指标提升源自版本更新
95%置信度确认指标下降源自版本更新