---
metadata:
  - name: generator
    content: Diplodoc Platform v5.52.0
alternate:
  - https://yandex.com/dev/games/doc/en/console/ab-builds.md
  - https://yandex.com/dev/games/doc/hi/console/ab-builds.md
  - https://yandex.com/dev/games/doc/ko/console/ab-builds.md
  - https://yandex.com/dev/games/doc/ru/console/ab-builds.md
  - https://yandex.com/dev/games/doc/tr/console/ab-builds.md
  - https://yandex.com/dev/games/doc/vi/console/ab-builds.md
  - https://yandex.com/dev/games/doc/zh/console/ab-builds.md
  - href: ko/console/ab-builds.md
    type: text/markdown
    title: Markdown version
  - href: ../llms.txt
    type: text/markdown
    title: llms.txt
---
> **Documentation Index:** Fetch the complete configuration index at https://yandex.com/dev/games/doc/ko/llms.txt

# A/B 버전 테스트

게임 업데이트에 대한 플레이어 반응을 확인하려면 A/B 실험을 진행하세요. 개발자 콘솔을 통해 [새로운 게임 빌드를 추가](#preparation)하면, [2주 동안](*time) 전체 사용자의 절반에게 해당 빌드가 표시됩니다. 테스트가 완료되면 [메트릭](#launch)을 비교하여 게임을 업데이트할지 결정하세요.

{% note warning "경고" %}

게임이 이미 출시된 상태에서만 실험을 시작할 수 있습니다.

테스트 결과의 [신뢰성을 보장](*experiment)하려면 실험 기간 동안 다른 A/B 테스트를 진행하거나 새로운 게임 버전을 출시하지 마세요. 그렇지 않으면 결과가 왜곡될 수 있습니다.

{% endnote %}

더 작은 변경 사항이 게임 지표에 미치는 영향을 연구하려면 [플래그 A/B 실험](https://yandex.com/dev/games/doc/ko/console/vq-test.md)을 진행하세요.

## 1단계: 준비 {#preparation}

새로운 실험용 빌드를 준비하세요. 빌드는 [플랫폼 요구 사항](https://yandex.com/dev/games/doc/ko/concepts/requirements.md)과 [초안 자료](*draft)를 준수해야 합니다.

[Yandex Games 콘솔](https://games.yandex.com/console)에 아카이브를 추가하세요:

1. 게임을 선택하세요.
1. **Builds A/B Tests** 탭으로 이동하세요.
1. **Start A/B Test** 버튼을 클릭하세요.
1. **Experiment name** 과 **What’s new** 필드를 작성하세요. 새 빌드와 기존 버전의 차이점을 설명하면 모더레이션 검토가 빨라집니다.
1. **Choose file** 버튼을 클릭하고 게임 빌드가 포함된 [아카이브](*archive)를 업로드하세요.
1. **Submit request** 버튼을 클릭하세요. 필요한 경우 **Edit submission** 옵션을 사용하세요.
1. 빌드 검사가 완료될 때까지 기다리세요. 약 5분 후 페이지를 새로고침하세요:
   - 기술적 오류가 없는 경우 **Build passed the check** 알림이 표시됩니다.
   - 검사에 실패한 경우 **Back to submission** 버튼을 클릭하고 빌드를 수정한 후 다시 업로드하세요.
1. **Submit for moderation** 버튼을 클릭하세요.

## 2단계: 모더레이션 {#moderation}

{% note info "참고" %}

모더레이션 신청은 처음 2시간 이내에 취소할 수 있습니다.

{% endnote %}

3-5일 이내에 모더레이션 결과가 **Builds A/B Tests** 탭 상단에 표시됩니다:

{% list tabs %}

- A/B 테스트 시작됨

    실험이 자동으로 시작됩니다: 사용자의 50%에게 새로운 실험 버전이 표시되고, 나머지 사용자에게는 기존 버전이 계속 표시됩니다.

- 버전이 모더레이션을 통과하지 못함

    게임 변경 사항이 [요구 사항](https://yandex.com/dev/games/doc/ko/concepts/requirements.md)을 위반하여 모더레이션이 새 빌드를 거부했습니다. Yandex ID에 등록된 이메일로 모더레이션의 거부 사유가 기재된 이메일이 발송되며, 위반한 요구 사항 항목에 대한 링크와 위반 증거(기록 파일 또는 스크린샷)이 포함됩니다.

    다시 제출하기 전에:
    - 위반한 요구 사항에 대한 설명이나 검증 방법이 있는지 확인하세요.
    - 게임에 필요한 변경 사항을 적용하세요.
    - 이전에 위반한 요구 사항을 다시 한 번 꼼꼼히 확인하세요.
    - 가능하면 모더레이션에 사용된 기기와 유사한 기기에서 게임을 테스트하세요. 모더레이션 알림에 기기 모델이 표시됩니다.

    제출 횟수에는 제한이 없지만, 각 거부 후 재제출 대기 시간이 하루씩 증가합니다.

    ![](../_images/moderation/cooldown.svg)

    궁금한 점이 있으면 [고객 지원](https://yandex.com/chat/#/user/a4fa5c06-75db-9b38-6eea-b1673785f7d5)에 문의하세요.

{% endlist %}

## 3단계: 실행 {#launch}

실험 시작 후 **Builds A/B Tests** 탭에 테스트 데이터가 표시됩니다: 실험 시작 날짜와 자동 종료 날짜가 표시되며, 몇 일 후 첫 결과가 그래프와 테이블로 나타납니다.

다음 메트릭을 사용해 빌드를 비교합니다:

<!-- source: ko/_includes/console/vq-metrics.md -->
#|
|| **메트릭** | **설명** ||
|| **Timespent per player** | 플레이어가 하루 평균 게임에서 보낸 시간(분)입니다. ||
|| **Interstitial shows per player** | 플레이어당 하루 평균 [전면 광고](https://yandex.com/dev/games/doc/ko/console/adv-monetization.md#interstitial) 노출 횟수입니다. ||
|| **Rewarded shows per player** | 플레이어당 하루 평균 [보상형 광고](https://yandex.com/dev/games/doc/ko/console/adv-monetization.md#rewarded) 노출 횟수입니다. ||
|| **In-app purchases per player** | 플레이어당 하루 평균 [인앱 구매](https://yandex.com/dev/games/doc/ko/console/purchases.md) 횟수입니다. ||
|| **Ratio of players with in-app purchase**<span style="color:red;">*</span> | 일일 앱 사용자 중 유료 사용자 비율(퍼센트)입니다. ||
|| **Conversion To Play** | 60초 이상 지속된 게임 세션 비율입니다. ||
|| **Ad revenue delta**<span style="color:red;">*</span> | 테스트 그룹과 대조 그룹 간 Yandex Advertising Network 광고 수익 차이(대조 그룹 수익 대비 퍼센트)입니다. ||
|| **In-App revenue per player**<span style="color:red;">*</span> | 플레이어당 하루 평균 인앱 구매 수익(루블)입니다. ||
|#

<span style="color:red;">*</span>&nbsp;이 메트릭은 게임 소유자와 **View income** 역할을 가진 개발자만 확인할 수 있습니다.
<!-- endsource: ko/_includes/console/vq-metrics.md -->

메트릭 색상별 의미:
* <span style="color:green;">초록색</span> — 긍정적이고 [통계적으로 유의미한](*positive) 결과
* <span style="color:red;">빨간색</span> — 부정적이고 [통계적으로 유의미한](*negative) 결과

색상이 없는 경우 실험이 사용자에게 미치는 영향을 명확히 판단할 수 없습니다.

{% note warning "경고" %}

통계적으로 유의미한 결과를 얻으려면 실험이 최소 일주일 이상 진행되어야 합니다.

{% endnote %}

실험은 시작 후 14일이 지나면 자동으로 종료됩니다. 조기 종료하려면 **Stop** → **Yes, stop it** 버튼을 클릭하세요.

## 4단계: 결과 {#results}

실험이 종료된 후 다음 중 하나를 선택하세요:
 - **Publish**: 새 빌드를 메인 버전으로 출시합니다. 모더레이션을 다시 거칠 필요가 없습니다.
 - **Don’t publish**: 실험을 종료하고 사용자에게 실험 버전을 더 이상 표시하지 않습니다.

결정을 내린 후 **Close** 버튼을 클릭하세요.

[*experiment]: 여러 요인이 사용자 행동에 영향을 미치므로 테스트 중인 변경 사항의 실제 효과를 파악할 수 없게 됩니다.

[*draft]: 새 빌드는 초안에 명시된 장르, 연령 제한, 태그 및 프로모션 자료와 일치해야 합니다.

[*time]: 실험을 조기에 중지할 수 있지만, 통계적으로 유의미한 데이터를 수집하려면 최소 일주일 이상 진행해야 합니다.

[*archive]: ZIP 아카이브는 다음을 준수해야 합니다:
- 용량 100MB 이하
- `index.html` 파일 단 하나만 포함

[*positive]: 95% 확률로 메트릭 개선이 새 빌드의 변경 사항과 관련이 있습니다.

[*negative]: 95% 확률로 메트릭 악화가 새 빌드의 변경 사항과 관련이 있습니다.