Thử nghiệm

Để tìm hiểu các thay đổi mới đối với trò chơi của bạn ảnh hưởng như thế nào đến hành vi của người dùng, hãy chạy thử nghiệm A/B. Đối với thử nghiệm của bạn, chọn tất cả hoặc một phần người dùng của bạn và chia họ thành các nhóm. Mỗi nhóm sẽ được hiển thị một biến thể thử nghiệm riêng của ứng dụng. Tất cả các biến thể được tạo dựa trên một phiên bản duy nhất trong Bảng điều khiển trò chơi sử dụng cờ trạng thái, là các cặp khóa-giá trị.

Giám sát các chỉ số thay đổi như thế nào theo thời gian trong báo cáo để xác định những thay đổi nào là thành công và cải thiện tính hiệu quả của trò chơi.

Trước khi tạo thử nghiệm:

1. Lập kế hoạch cho thử nghiệm:

   • Bạn muốn kiểm tra giả thuyết nào?
   • Có những khác biệt gì giữa các biến thể?
   • Bạn muốn đạt được những mục tiêu nào?

2. Thực hiện chức năng. Sử dụng các điều kiện và cờ trạng thái được truy xuất bằng phương thức getFlags() và tải lên một phiên bản ứng dụng mới.

3. Nếu cần, hãy thêm cờ trạng thái mới vào một cấu hình, và phát hành các thay đổi.

Tạo thử nghiệm

Để tạo một thử nghiệm:

1. Chuyển đến Bảng điều khiển trò chơi.
2. Chọn một ứng dụng.
3. Chuyển đến tab Experiments và nhấp vào Create experiment.

Bước 1. Tên và mô tả

Thêm tên cho thử nghiệm của bạn. Bạn cũng có thể điền vào trường Description tùy chọn, cho biết chính xác những gì bạn đang thử nghiệm (ví dụ: màu nút hoặc tỷ lệ xuất hiện phần thưởng có giá trị), kết quả mong đợi của bạn và các chỉ số bạn muốn cải thiện.

Bước 2. Điều kiện

Date range

Theo mặc định, thử nghiệm chỉ bị giới hạn về thời gian. Bạn có thể xác định ngày bắt đầu và thời gian của thử nghiệm.

Audience share

Thiết lập tỷ lệ đối tượng của bạn tham gia vào thử nghiệm.

Ví dụ

Nếu tỷ lệ đối tượng của bạn là 60%, 40% người dùng sẽ không tham gia thử nghiệm. Những người thuộc 60% này được chia thành một số nhóm. Số lượng các nhóm tương ứng với số lượng biến thể thử nghiệm, mỗi nhóm nhận được một biến thể. Ví dụ: nếu thử nghiệm bao gồm 60% đối tượng của bạn và có ba biến thể, thì mỗi biến thể nhận được 20% đối tượng của bạn. Tỷ lệ này được chỉ định ở bên phải của mỗi biến thể.

Conditions

Sử dụng điều kiện để hạn chế đối tượng thử nghiệm. Sau khi thêm điều kiện, đối tượng thử nghiệm của bạn sẽ chỉ bao gồm những người dùng đáp ứng tất cả các điều kiện này. Audience share của bạn sẽ được tính toán dựa trên đối tượng này.

Để hạn chế đối tượng, hãy nhấp vào Add condition, chọn tất cả các điều kiện cần thiết và điền vào các trường xuất hiện.

Các điều kiện có sẵn:

• Platforms: Thiết bị di động, máy tính để bàn hoặc TV.
• Languages: Ngôn ngữ trên thiết bị của người dùng sẽ thấy cấu hình của bạn.
• Regions: Khu vực được thiết lập trên thiết bị của người dùng.
• Client features: Bạn có thể thiết lập các tham số của mình dưới dạng cặp khóa-giá trị. Ví dụ: param=value. Để chỉ định nhiều giá trị kết hợp với "Toán tử "AND", liệt kê các tham số được phân tách bằng dấu phẩy. Ví dụ: aparam=avalue, bparam=bvalue.

Bước 3. Chỉ số

Đối với thí nghiệm, có sẵn sáu chỉ số, báo cáo về kết quả thí nghiệm sẽ được xây dựng dựa trên cả sáu chỉ số này.

Chỉ số	Mô tả
Timespent per player	Thời gian trung bình tính bằng phút mà người chơi dành trong một ngày cho trò chơi.
Interstitial shows per player	Số lần hiển thị trung bình khối toàn màn hình trên mỗi người chơi trong một ngày.
Rewarded shows per player	Số lần hiển thị trung bình khối có phần thưởng trên mỗi người chơi trong một ngày.
In-app purchases per player	Số lượng trung bình इन-ऐप खरीदारी trên mỗi người chơi trong một ngày.
Ratio of players with in-app purchase*	Tỷ lệ người dùng trả tiền so với lượng người dùng hàng ngày của ứng dụng, hiển thị dưới dạng phần trăm.
Conversion To Play	Tỷ lệ phiên chơi kéo dài hơn 60 giây.
Ad revenue delta*	Chênh lệch doanh thu từ Yandex Advertising Network giữa nhóm thử nghiệm và nhóm kiểm soát, tính bằng phần trăm so với doanh thu ở nhóm kiểm soát.
In-App revenue per player*	Doanh thu từ इन-ऐप खरीदारी trên mỗi người chơi trong một ngày, tính bằng rúp.

* Xem chỉ số này chỉ khả dụng cho chủ sở hữu trò chơi và nhà phát triển có vai trò View income.

Bước 4. Thiết lập các biến thể

Bạn có thể thiết lập nhiều biến thể để hiển thị cho người dùng trong quá trình thử nghiệm. Bạn nên sử dụng phiên bản hiện tại của ứng dụng không thay đổi làm biến thể đối chứng, nhưng bạn cũng có thể thiết lập các thay đổi trong phiên bản đó.

Thiết lập thay đổi trong các biến thể đối chứng và thử nghiệm bằng cách sử dụng cờ trạng thái mà bạn có thể truy xuất bằng phương thức getFlags(). Bạn không cần phải thay đổi cho chính ứng dụng. Cờ trạng thái có loại giá trị Chuỗi.

1. Chọn khối với biến thể mà bạn muốn áp dụng các thay đổi trong thử nghiệm.
2. Đặt cờ trạng thái bằng các tham số đã được thay đổi.

Đối tượng của bạn sẽ được chia thành các phần bằng nhau, số phần sẽ tương ứng với số lượng biến thể bạn đã tạo. Mỗi biến thể sẽ được hiển thị cho số lượng người dùng xấp xỉ bằng nhau.

Bước 5. Lưu và chạy thử nghiệm

Bạn có thể bắt đầu thử nghiệm ngay lập tức hoặc lưu thành bản nháp để có thể chỉnh sửa và chạy thử nghiệm sau này. Bạn có thể kiểm tra thử nghiệm của mình bất cứ lúc nào.

Kiểm tra thử nghiệm

Bạn có thể kiểm tra các biến thể bạn có và xem các thay đổi được áp dụng:

1. Hãy chắc chắn rằng bạn đã chọn cờ trạng thái thử nghiệm cho biến thể bạn muốn kiểm tra.
2. Trong khối Experiment testing bên cạnh tên biến thể, hãy nhấp vào liên kết hoặc sao chép liên kết để mở trên một thiết bị khác.
3. Kiểm tra xem ứng dụng có hoạt động với các giá trị cờ trạng thái thử nghiệm đã chọn không.

Các điều kiện thử nghiệm không được tính đến khi kiểm tra các biến thể.

Trình tính toán kích thước mẫu

Trong khối Sample size calculator, bạn có thể kiểm tra xem bạn có nhận được kết quả có ý nghĩa thống kê với các điều kiện thử nghiệm đã chọn không.

Máy tính tính toán hiệu ứng tối thiểu có thể phát hiện (Minimum Detectable Effect, MDE). Nó xác định sự thay đổi nhỏ nhất có thể đo lường được của chỉ số dựa trên dữ liệu hiện tại và mức ý nghĩa đã cho.

• Chỉ số MDE thấp có thể phát hiện ngay cả sự thay đổi nhỏ nhất của chỉ số.

  Mẹo

  Để giảm MDE, hãy tăng kích thước mẫu hoặc thời gian thực hiện thử nghiệm.

• Chỉ số MDE cao:

  • Chỉ phát hiện những thay đổi đáng kể.
  • Phù hợp với thử nghiệm trên nhóm đối tượng nhỏ.

Điền vào các trường của trình tính toán, cung cấp thông tin về ứng dụng của bạn và thử nghiệm:

• Total players per day: Số lượng người chơi hàng ngày tính theo điều kiện của thí nghiệm nhưng không tính kích thước mẫu (yếu tố sau phải được chỉ ra trong khối Audience share). Để tính giá trị cho trường Total players per day, sử dụng Players chỉ số sản phẩm.
• Duration: Thời gian diễn ra thí nghiệm tính theo ngày. Điều này tương ứng với giá trị trong Date range từ Bước 2. Điều kiện.
• Audience share: Phần trăm của đối tượng mục tiêu sẽ tham gia vào thí nghiệm. Điều này tương ứng với giá trị trong Audience share từ Bước 2. Điều kiện.
• Variants: Số lượng biến thể trong thử nghiệm (từ 2 đến 26).
• Number of events per player: Số sự kiện mục tiêu trên mỗi người chơi trung bình. Để tính toán giá trị này, hãy chia số lượng các sự kiện đó trong một khoảng thời gian cho số lượng người dùng duy nhất trong khoảng thời gian này, có xét đến các điều kiện thử nghiệm. Sự kiện mục tiêu bạn chọn ở đây nên dựa trên chỉ số ưu tiên của bạn. Nếu bạn muốn đánh giá nhiều chỉ số trong một thử nghiệm duy nhất, hãy thực hiện các tính toán riêng cho từng chỉ số.

Borders of the detected effect: Tham số này giúp bạn thấy chỉ số nào có thể được coi là có ý nghĩa thống kê. Những chỉ số nằm bên ngoài đường biên được chỉ định: nhỏ hơn số màu đỏ và lớn hơn số màu xanh lá cây. Những chỉ số nằm ở giữa các đường biên có thể là các biến thể ngẫu nhiên từ chuyển đổi biến thể đối chứng. Nếu phạm vi quá rộng và bạn đang tìm kiếm các thay đổi chỉ số ít nổi bật hơn, hãy thử điều chỉnh các điều kiện thử nghiệm. Ví dụ, tăng thời gian hoặc tỷ lệ đối tượng.

Chạy thử nghiệm

Để bắt đầu thử nghiệm, hãy nhấp vào Save and run. Đọc qua phần tổng quan ngắn gọn về thí nghiệm và nhấp vào Run nếu mọi thứ đều ổn.

Khi thử nghiệm đã bắt đầu, bạn sẽ có thể thấy những cờ trạng thái nào được sử dụng trong các thử nghiệm trên tab Flags. Bạn cũng sẽ có thể xem báo cáo sơ bộ trên Experiments.

Báo cáo về kết quả thử nghiệm

Trong báo cáo này, bạn có thể thấy những thay đổi chỉ số có ý nghĩa thống kê trong biến thể thử nghiệm so với biến thể đối chứng.

Cách đọc báo cáo

Để xem báo cáo:

1. Chuyển đến Bảng điều khiển trò chơi.
2. Chọn một ứng dụng.
3. Mở tab Experiments và nhấp vào View results dưới tên thử nghiệm.

Bên dưới mô tả ngắn gọn về thử nghiệm, bạn có thể chọn bất kỳ chỉ số nào có sẵn và khoảng thời gian cho báo cáo. Biểu đồ sẽ hiển thị các giá trị của chỉ số đã chọn cho tất cả các biến thể được kiểm tra khi chạy thử nghiệm.

Trong biểu đồ, bạn sẽ thấy một bảng có các giá trị số sau đây:

• Các chỉ số phụ trợ như Number of unique players.
• Chỉ số chính mà bạn có thể chọn trong menu phía trên biểu đồ.
• Δ: Sự khác biệt giữa các giá trị chỉ số trong các biến thể thử nghiệm và đối chứng.
• Δ, %: Sự khác biệt giữa các giá trị chỉ số trong các biến thể thử nghiệm và đối chứng được biểu thị bằng tỷ lệ phần trăm trên giá trị chỉ số của biến thể đối chứng.
• Giá trị P: Đặc tính số chính của kết quả kiểm tra tiêu chí thống kê. Để biết thêm thông tin về chỉ số này, hãy xem Những vấn đề mà báo cáo có thể giải quyết.

Nếu các chỉ số được tô màu:

• Xanh lá cây, kết quả là tích cực và có ý nghĩa về mặt thống kê.
• Đỏ, kết quả là tiêu cực và có ý nghĩa về mặt thống kê.

Có ba cấp độ cường độ màu được sử dụng tùy thuộc vào giá trị p. Các giá trị ngưỡng là 0,05, 0,01 và 0,001.

Nếu các thước đo không được tô màu bất kỳ cách nào, không thể kết luận rằng thí nghiệm có ảnh hưởng đến người dùng hay không.

Những vấn đề mà báo cáo có thể giải quyết

Thử nghiệm kiểm tra các giả thuyết sau:

• H0: Giá trị của chỉ số chưa thay đổi trong biến thể đã cho so với biến thể đối chứng.
• H1: Giá trị của chỉ số đã thay đổi trong biến thể đã cho so với biến thể đối chứng.

Tiêu chí thống kê được sử dụng là thử nghiệm Mann–Whitney U với các phương pháp chia nhóm. Nếu số lượng dữ liệu thấp, việc hiệu chỉnh cho tính rời rạc sẽ được thực hiện.

Giá trị p đóng vai trò là đặc điểm chính để đánh giá kết quả thử nghiệm. Giá trị này giúp xác định xác suất thu được kết quả kiểm tra ít nhất là ở mức cực hạn như kết quả thực sự quan sát được, theo giả định rằng giá trị chỉ số chưa thực sự thay đổi (giả thuyết H0 trong ví dụ). Để biết thêm thông tin, hãy xem bài viết Wikipedia về giá trị p.

Nếu giả thuyết H0 là chính xác, hàng này sẽ không được tô sáng trong báo cáo.

Điều quan trọng là phải nhớ rằng việc chấp nhận giả thuyết H0 không có nghĩa là chỉ số chưa thay đổi. Bạn chỉ có thể chắc chắn rằng hiệu ứng không cao hơn MDE. Để xem những thay đổi nhỏ hơn trong chỉ số, bạn có thể tăng thời lượng thử nghiệm hoặc quy mô đối tượng. Để xác định các giá trị mới, hãy sử dụng Trình tính toán kích thước mẫu.

Nếu giả thuyết H1 được xác nhận với mức ý nghĩa thống kê của giá trị p <= 0,05, hàng trong báo cáo được tô sáng.

Sự chấp nhận giả thuyết được thực hiện bằng cách so sánh giá trị p với mức ý nghĩa thống kê: Giá trị p <= alpha. Ngưỡng alpha mặc định là 0,05.

Điều quan trọng là phải hiểu rằng việc sử dụng alpha có liên quan đến xác suất lỗi loại I (khẳng định giả). Mặt khác, sẽ không hợp lý khi để alpha quá thấp, bởi vì điều này làm tăng xác suất lỗi loại II (phủ định giả) và MDE.

Chấp nhận thử nghiệm

1. Chuyển đến Bảng điều khiển trò chơi.
2. Chọn một ứng dụng.
3. Mở tab Experiments và nhấp vào View results dưới tên của thử nghiệm.
4. Phân tích kết quả kiểm tra cho tất cả các biến thể và quyết định xem những thay đổi bạn đã thực hiện có thành công hay không.

Để sử dụng biến thể thử nghiệm làm lựa chọn chính, hãy nhấp vào Add flags to config. Các giá trị mới sẽ có sẵn trong phiên bản cuối cùng của ứng dụng.

Nếu bạn không thể rút ra kết luận chắc chắn, hãy thử thay đổi các điều kiện thử nghiệm. Để chọn thời lượng thử nghiệm mới hoặc tỷ lệ đối tượng, hãy sử dụng Trình tính toán kích thước mẫu.

Hiệu ứng có thể phát hiện tối thiểu.

Nếu giá trị p <= 0,05, thì xác suất cải thiện chỉ số có liên quan đến thay đổi cờ trạng thái được thử nghiệm lớn hơn hoặc bằng 95%. Để biết thêm thông tin, hãy xem Những vấn đề mà báo cáo có thể giải quyết.

Nếu giá trị p <= 0,05, thì xác suất giảm chỉ số có liên quan đến thay đổi cờ trạng thái được thử nghiệm lớn hơn hoặc bằng 95%. Để biết thêm thông tin, hãy xem Những vấn đề mà báo cáo có thể giải quyết.