A/B 테스트 아이콘

아이콘과 커버는 게임 카탈로그에서의 성공에 큰 영향을 줄 수 있습니다. 잘 선택된 크리에이티브 요소는 더 많은 플레이어를 게임으로 유도합니다. 어떤 아이콘과 커버가 당신의 프로젝트에 더 잘 맞는지 이해하려면, 두 종류의 자료에 대해 A/B-테스트를 실행하세요. 카탈로그 사용자들은 자동으로 두 그룹으로 나뉩니다:

• 50%의 사용자는 컨트롤 그룹의 자료를 볼 것입니다;
• 50%의 사용자는 실험 그룹의 자료를 볼 것입니다.

몇 일 후에 A/B icon test 탭에서 Yandex Games 콘솔에서 아이콘과 커버가 카탈로그 사용자의 전환율과 게임의 제품 메트릭에 미치는 영향에 대한 초기 데이터를 볼 수 있습니다.

A/B-테스트 실행

단계 1. 프로모션 자료 준비하기

새로운 아이콘과 커버를 준비하고 요구 사항 섹션 8.3에 따라 그것들이 요건에 부합하는지 확인하세요.

단계 2. 신청서 생성하기

1. Yandex Games 콘솔을 엽니다.

2. 원하는 게임을 선택합니다.

3. A/B icon test 탭으로 이동하세요.

4. 신청하고 싶은 대상 공고를 선택하세요.

   참고

   전체 대상자를 위한 테스트는 크리에이티브를 테스트하는 권장되는 유연한 방법입니다.

5. Go to request를 클릭하세요.

단계 3. 파일 업로드하기

Upload를 클릭하여 실험 그룹의 아이콘과 커버를 첨부하세요.

여러 언어에 대한 창조물을 한 번에 테스트하고 동일한 이미지를 사용할 계획이라면, 아래 옵션을 사용하여 파일 로드 속도를 높일 수 있습니다: Apply icon and cover for other languages (기본 설정으로 활성화됨):

1. 상단 옵션의 아이콘 및 커버 이미지를 업로드하면 자동으로 모든 언어에 적용됩니다.
2. 필요한 경우 특정 언어용 아이콘과 커버 이미지를 별도로 업로드할 수 있습니다.

단계 4. 게임 심사 요청하기

Submit for moderation를 클릭하세요.

결과 처리

결과 보기:

1. Yandex Games 콘솔을 엽니다.

2. 원하는 게임을 선택합니다.

3. A/B icon test 탭으로 이동하세요.

페이지 상단에 실험이 시작된 날짜와 실험이 자동으로 종료되는 날짜가 표시됩니다.

테스트 결과는 몇 일 후에 나타납니다. 통계적으로 유의한 결과를 얻으려면 실험을 최소 일주일 이상 유지하십시오.

크리에이티브 비교에 지표를 사용합니다:

• Icon CTR in recommendations
• Cover CTR in recommendations
• Icon CTR in "My games"
• Conversion To Play
• Players
• Play time per player
• Play time

메트릭 색상이 있다면:

• 녹색 — 결과가 긍정적이며 통계적으로 유의함;
• 빨강색 — 결과가 부정적이며 통계적으로 유의함.

만약 지표가 어떤 색으로도 채색되지 않았다면, 실험이 사용자에게 영향을 미치는지 명확히 판단할 수 없습니다.

결정 내리기

1. Yandex Games 콘솔을 엽니다.

2. 원하는 게임을 선택합니다.

3. A/B icon test 탭으로 이동하세요.

4. 테스트 메트릭을 살펴보고 메트릭의 색상에 따라 결정을 내리세요:

   • 녹색 — Accept the experiment, 실험 그룹의 아이콘과 커버를 기본으로 사용하려면;

     참고

     결과에 따라 실험을 어떤 대상에게 적용할지 선택할 수 있습니다. 예를 들어, 러시아어를 사용하는 플레이어들의 지표가 감소하지만 국제적인 플레이어들은 그렇지 않다면 실험적인 크리에이티브를 국제 대상에만 적용하세요. 이때 초안을 추가로 업데이트할 필요는 없습니다.

   • 빨강색 — Stop, 실험을 중단하려면. 테스트는 14일 후에 자동으로 종료됩니다.

아이콘 또는 커버 변경이 메트릭 개선과 관련이 있음을 90% 확률로 나타냅니다.

아이콘 또는 커버 변경이 메트릭 악화와 관련이 있음을 90% 확률로 나타냅니다.