A/B 버전 테스트

게임 업데이트에 대한 플레이어 반응을 확인하려면 A/B 실험을 진행하세요. 개발자 콘솔을 통해 새로운 게임 빌드를 추가하면, 2주 동안 전체 사용자의 절반에게 해당 빌드가 표시됩니다. 테스트가 완료되면 메트릭을 비교하여 게임을 업데이트할지 결정하세요.

경고

게임이 이미 출시된 상태에서만 실험을 시작할 수 있습니다.

테스트 결과의 신뢰성을 보장하려면 실험 기간 동안 다른 A/B 테스트를 진행하거나 새로운 게임 버전을 출시하지 마세요. 그렇지 않으면 결과가 왜곡될 수 있습니다.

더 작은 변경 사항이 게임 지표에 미치는 영향을 연구하려면 플래그 A/B 실험을 진행하세요.

1단계: 준비

새로운 실험용 빌드를 준비하세요. 빌드는 플랫폼 요구 사항과 초안 자료를 준수해야 합니다.

Yandex Games 콘솔에 아카이브를 추가하세요:

게임을 선택하세요.
Builds A/B Tests 탭으로 이동하세요.
Start A/B Test 버튼을 클릭하세요.
Experiment name 과 What’s new 필드를 작성하세요. 새 빌드와 기존 버전의 차이점을 설명하면 모더레이션 검토가 빨라집니다.
Choose file 버튼을 클릭하고 게임 빌드가 포함된 아카이브를 업로드하세요.
Submit request 버튼을 클릭하세요. 필요한 경우 Edit submission 옵션을 사용하세요.
빌드 검사가 완료될 때까지 기다리세요. 약 5분 후 페이지를 새로고침하세요:
- 기술적 오류가 없는 경우 Build passed the check 알림이 표시됩니다.
- 검사에 실패한 경우 Back to submission 버튼을 클릭하고 빌드를 수정한 후 다시 업로드하세요.
Submit for moderation 버튼을 클릭하세요.

참고

모더레이션 신청은 처음 2시간 이내에 취소할 수 있습니다.

3-5일 이내에 모더레이션 결과가 Builds A/B Tests 탭 상단에 표시됩니다:

A/B 테스트 시작됨

버전이 모더레이션을 통과하지 못함

실험이 자동으로 시작됩니다: 사용자의 50%에게 새로운 실험 버전이 표시되고, 나머지 사용자에게는 기존 버전이 계속 표시됩니다.

게임 변경 사항이 요구 사항을 위반하여 모더레이션이 새 빌드를 거부했습니다. Yandex ID에 등록된 이메일로 모더레이션의 거부 사유가 기재된 이메일이 발송되며, 위반한 요구 사항 항목에 대한 링크와 위반 증거(기록 파일 또는 스크린샷)이 포함됩니다.

다시 제출하기 전에:

제출 횟수에는 제한이 없지만, 각 거부 후 재제출 대기 시간이 하루씩 증가합니다.

궁금한 점이 있으면 고객 지원에 문의하세요.

실험 시작 후 Builds A/B Tests 탭에 테스트 데이터가 표시됩니다: 실험 시작 날짜와 자동 종료 날짜가 표시되며, 몇 일 후 첫 결과가 그래프와 테이블로 나타납니다.

다음 메트릭을 사용해 빌드를 비교합니다:

메트릭	설명
Timespent per player	플레이어가 하루 평균 게임에서 보낸 시간(분)입니다.
Interstitial shows per player	플레이어당 하루 평균 전면 광고 노출 횟수입니다.
Rewarded shows per player	플레이어당 하루 평균 보상형 광고 노출 횟수입니다.
In-app purchases per player	플레이어당 하루 평균 인앱 구매 횟수입니다.
Ratio of players with in-app purchase*	일일 앱 사용자 중 유료 사용자 비율(퍼센트)입니다.
Conversion To Play	60초 이상 지속된 게임 세션 비율입니다.
Ad revenue delta*	테스트 그룹과 대조 그룹 간 Yandex Advertising Network 광고 수익 차이(대조 그룹 수익 대비 퍼센트)입니다.
In-App revenue per player*	플레이어당 하루 평균 인앱 구매 수익(루블)입니다.

* 이 메트릭은 게임 소유자와 View income 역할을 가진 개발자만 확인할 수 있습니다.

메트릭 색상별 의미:

색상이 없는 경우 실험이 사용자에게 미치는 영향을 명확히 판단할 수 없습니다.

경고

통계적으로 유의미한 결과를 얻으려면 실험이 최소 일주일 이상 진행되어야 합니다.

실험은 시작 후 14일이 지나면 자동으로 종료됩니다. 조기 종료하려면 Stop → Yes, stop it 버튼을 클릭하세요.

실험이 종료된 후 다음 중 하나를 선택하세요:

결정을 내린 후 Close 버튼을 클릭하세요.