Thử nghiệm A/B các phiên bản

Để tìm hiểu cách người chơi phản ứng với các bản cập nhật trong trò chơi, hãy tiến hành thử nghiệm A/B. Thông qua Bảng Điều Khiển của nhà phát triển, thêm bản build mới của trò chơi. Bản build này sẽ hiển thị cho một nửa lượng người dùng của bạn trong vòng hai tuần. Khi thử nghiệm kết thúc, so sánh chỉ số của bản build thử nghiệm với phiên bản chính của trò chơi và quyết định xem có nên cập nhật ứng dụng hay không.

Cảnh báo

Bạn chỉ có thể khởi chạy thử nghiệm nếu trò chơi đã được xuất bản.

Nếu có yếu tố khác ảnh hưởng đến thử nghiệm, kết quả sẽ không đáng tin cậy. Để tránh điều này, đừng xuất bản các phiên bản trò chơi mới song song với thử nghiệm và không tiến hành các thử nghiệm A/B khác.

Để nghiên cứu ảnh hưởng của các thay đổi nhỏ hơn đến hiệu suất trò chơi, hãy tiến hành thử nghiệm A/B với cờ.

Bước 1. Chuẩn bị

Chuẩn bị một bản build thử nghiệm mới. Bản build này phải tuân thủ yêu cầu của nền tảng và tài liệu nháp.

Thêm tệp lưu trữ thông qua Bảng Điều Khiển Yandex Games:

  1. Chọn trò chơi mong muốn.

  2. Chuyển đến tab Builds A/B Tests.

  3. Nhấp vào Start A/B Test.

  4. Điền các trường Experiment name và What’s new. Mô tả điểm khác biệt giữa bản build mới và phiên bản chính của trò chơi — thông tin này sẽ giúp bộ phận kiểm duyệt xem xét bản build nhanh hơn.

  5. Nhấp vào Choose file và tải lên tệp lưu trữ chứa bản build thử nghiệm của trò chơi.

  6. Nhấp vào Submit request. Nếu cần, sử dụng tùy chọn Edit submission.

  7. Chờ kiểm tra bản build. Sau khoảng 5 phút, làm mới trang:

    • Nếu bản build không có lỗi kỹ thuật, thông báo Build passed the check sẽ xuất hiện ở đầu màn hình.
    • Nếu bản build không vượt qua kiểm tra, nhấp vào Back to submission, sửa lỗi và tải lên lại.

  8. Nhấp vào Submit for moderation.

Bước 2. Kiểm duyệt

Ghi chú

Bạn có thể rút yêu cầu kiểm duyệt trong vòng 2 giờ đầu tiên.

Trong vòng 3–5 ngày, kết quả kiểm duyệt sẽ xuất hiện trên tab Builds A/B Tests ở đầu trang:

Thử nghiệm sẽ tự động bắt đầu: 50% người dùng sẽ thấy phiên bản trò chơi thử nghiệm mới, số còn lại tiếp tục thấy phiên bản thông thường.

Bộ phận kiểm duyệt từ chối bản build mới do các thay đổi trong trò chơi vi phạm yêu cầu. Bạn sẽ nhận được email từ bộ phận kiểm duyệt với lý do từ chối cụ thể cùng liên kết đến các điều khoản bị vi phạm. Kiểm duyệt sẽ đính kèm tệp ghi hình hoặc ảnh chụp màn hình minh chứng.

Trước khi gửi lại bản build để kiểm tra:

  • Xem lại giải thích hoặc phương pháp kiểm tra cho các yêu cầu bị vi phạm.
  • Thực hiện thay đổi trong trò chơi.
  • Kiểm tra kỹ lưỡng để đảm bảo trò chơi tuân thủ các yêu cầu đã vi phạm trước đó.
  • Nếu có thể, thử nghiệm trò chơi trên các thiết bị tương tự với thiết bị kiểm duyệt. Model thiết bị sẽ được ghi trong thông báo.

Số lần thử không giới hạn, nhưng thời gian chờ trước mỗi lần gửi kiểm duyệt lại sẽ tăng thêm một ngày sau mỗi lần từ chối.

Nếu có thắc mắc, hãy liên hệ dịch vụ hỗ trợ.

Bước 3. Khởi chạy

Sau khi khởi chạy thử nghiệm, dữ liệu thử nghiệm sẽ xuất hiện trên tab Builds A/B Tests: ngày bắt đầu và ngày kết thúc tự động. Kết quả đầu tiên sẽ hiển thị sau vài ngày dưới dạng biểu đồ và bảng.

Các chỉ số so sánh giữa các bản build:

Chỉ số

Mô tả

Timespent per player

Thời gian trung bình tính bằng phút mà người chơi dành trong một ngày cho trò chơi.

Interstitial shows per player

Số lần hiển thị trung bình khối toàn màn hình trên mỗi người chơi trong một ngày.

Rewarded shows per player

Số lần hiển thị trung bình khối có phần thưởng trên mỗi người chơi trong một ngày.

In-app purchases per player

Số lượng trung bình इन-ऐप खरीदारी trên mỗi người chơi trong một ngày.

Ratio of players with in-app purchase*

Tỷ lệ người dùng trả tiền so với lượng người dùng hàng ngày của ứng dụng, hiển thị dưới dạng phần trăm.

Conversion To Play

Tỷ lệ phiên chơi kéo dài hơn 60 giây.

Ad revenue delta*

Chênh lệch doanh thu từ Yandex Advertising Network giữa nhóm thử nghiệm và nhóm kiểm soát, tính bằng phần trăm so với doanh thu ở nhóm kiểm soát.

In-App revenue per player*

Doanh thu từ इन-ऐप खरीदारी trên mỗi người chơi trong một ngày, tính bằng rúp.

* Xem chỉ số này chỉ khả dụng cho chủ sở hữu trò chơi và nhà phát triển có vai trò View income.

Nếu chỉ số được tô màu:

  • xanh lá — kết quả tích cực và có ý nghĩa thống kê;
  • đỏ — kết quả tiêu cực và có ý nghĩa thống kê.

Nếu chỉ số không được tô màu, không thể kết luận rõ ràng liệu thử nghiệm có ảnh hưởng đến người dùng hay không.

Cảnh báo

Để có kết quả thống kê đáng tin cậy về hoạt động của người chơi, thử nghiệm cần kéo dài ít nhất một tuần.

Thử nghiệm sẽ tự động kết thúc sau 14 ngày. Để kết thúc sớm, nhấp vào Stop → Yes, stop it.

Bước 4. Kết quả

Sau khi thử nghiệm kết thúc, nhấp vào:

  • Publish để đặt bản build mới làm phiên bản chính. Không cần kiểm duyệt lại.
  • Don’t publish để kết thúc thử nghiệm và ngừng hiển thị bản build thử nghiệm cho người dùng.

Sau khi quyết định, nhấp vào Close.

Vì hành vi người dùng chịu ảnh hưởng từ nhiều yếu tố, không thể xác định vai trò của các thay đổi ban đầu được thử nghiệm.

Bản build mới phải phù hợp với thể loại, giới hạn độ tuổi, tag và tài liệu quảng cáo được ghi trong nháp.

Bạn có thể dừng thử nghiệm sớm, nhưng để thu thập dữ liệu có ý nghĩa thống kê, thử nghiệm cần kéo dài ít nhất một tuần.

Tệp ZIP phải:

  • có dung lượng không quá 100 MB;
  • chỉ chứa một tệp index.html.

Với xác suất 95%, cải thiện chỉ số liên quan đến thay đổi trong bản build mới.

Với xác suất 95%, suy giảm chỉ số liên quan đến thay đổi trong bản build mới.

Previous
Phát hành cập nhật
Next
Cờ