A/B版本测试

想了解玩家对游戏更新的反应?可以通过A/B实验来验证。通过开发人员控制台添加新版本游戏后,该版本将在两周内面向半数用户展示。测试结束后,比较实验版本与主版本的关键指标,据此决定是否更新应用。

重要

仅已发布的游戏可启动实验测试

若测试期间存在其他干扰因素,可能导致实验结果失真。为保证数据有效性:

  • 测试期间请勿发布新版本
  • 避免同时进行其他A/B测试

为了研究细微改动对游戏指标的影响,请进行使用功能标志的A/B测试

步骤1. 准备工作

准备符合以下要求的实验版本:

通过Yandex Games控制台上传:

  1. 选择目标游戏
  2. 进入 Builds A/B Tests 标签页
  3. 点击 Start A/B Test
  4. 填写:
    • Experiment name(实验名称)
    • What’s new(版本说明)——清晰描述改动内容可加速审核
  5. 点击 Choose file 上传游戏包
  6. 提交申请(Submit request),必要时使用 Edit submission 修改
  7. 等待约5分钟完成构建检查,刷新页面查看结果:
    • 通过检查:显示 Build passed the check 通知
    • 未通过:点击 Back to submission 修正后重新上传
  8. 点击 Submit for moderation 进入审核

步骤2. 审核阶段

备注

提交审核后2小时内可撤回申请

3-5个工作日内,审核结果将显示在 Builds A/B Tests 标签页顶部:

实验自动开始:50%用户看到新版本,其余用户继续使用原版本

因违反平台规范,审核被拒。您的Yandex ID邮箱将收到包含以下内容的拒信:

  • 具体违规条款
  • 审核记录的截图/视频文件

重新提交前请:

  1. 查阅相关规范的说明文档
  2. 修改游戏内容
  3. 重点复查之前违规的条款
  4. 使用审核设备同型号设备测试(邮件会注明设备型号)

注意:

  • 可无限次重新提交
  • 每次被拒后,再次提交需等待更长时间(每次增加24小时)

如需帮助,请联系技术支持

步骤3. 启动实验

实验启动后,Builds A/B Tests 标签页将显示:

  • 实验起止日期
  • 数日后生成数据报表

对比版本的核心指标:

指标

说明

Timespent per player

玩家平均每天在游戏中花费的分钟数。

Interstitial shows per player

玩家每天观看全屏广告的平均次数。

Rewarded shows per player

玩家每天观看激励广告的平均次数。

In-app purchases per player

玩家每天进行应用内购买的平均次数。

Ratio of players with in-app purchase*

付费用户占每日应用活跃用户的比例(百分比显示)。

Conversion To Play

游戏会话时长超过60秒的比例。

Ad revenue delta*

测试组与对照组的Yandex广告收入差异(以对照组收入为基准的百分比)。

In-App revenue per player*

日均每玩家应用内购买收入(单位为卢布)。

* 仅游戏所有者及具有View income权限的开发者可查看该指标。

指标颜色说明:

  • 绿色 — 正向影响且统计显著
  • 红色 — 负面影响且统计显著
  • 无颜色标记 — 数据波动在正常范围内

重要

为获得有效用户行为数据,实验至少需持续1周

默认14天后自动结束实验。如需提前终止: 点击 StopYes, stop it

步骤4. 结果处理

实验结束后选择:

  • Publish:将实验版本设为主版本(无需重新审核)
  • Don’t publish:停止向用户展示实验版本

确认后点击 Close 完成流程

多重变量影响会导致无法判定原始改动的实际效果

新版本需与草稿中声明的游戏类型、年龄分级、标签及宣传素材保持一致

可手动提前终止,但建议至少运行1周以获取有效数据

ZIP压缩包要求:

  • ≤ 100 MB
  • 仅含单个 index.html 文件

95%置信度确认指标提升源自版本更新

95%置信度确认指标下降源自版本更新

上一篇
下一篇