A/B टेस्ट संस्करण
यह जानने के लिए कि खिलाड़ी गेम में अपडेट पर कैसी प्रतिक्रिया देते हैं, A/B प्रयोग करें। इसके लिए डेवलपर का कंसोल इस्तेमाल करके गेम का नया बिल्ड जोड़ें। यह आपके दर्शकों के आधे हिस्से को दो हफ्तों तक दिखाई देगा। जब टेस्टिंग पूरी हो जाए, तो प्रयोगात्मक बिल्ड के मेट्रिक्स की तुलना गेम के मुख्य संस्करण के आँकड़ों से करें और तय करें कि ऐप को अपडेट करना चाहिए या नहीं।
चेतावनी
प्रयोग तभी शुरू किया जा सकता है जब गेम पहले से ही प्रकाशित हो चुका हो।
अगर टेस्टिंग पर किसी और चीज़ का असर पड़ेगा, तो उसके नतीजे ग़लत होंगे। इससे बचने के लिए, प्रयोग के साथ-साथ गेम के नए संस्करण प्रकाशित न करें और कोई अन्य A/B टेस्ट न करें।
छोटे बदलावों का गेम के आँकड़ों पर क्या असर पड़ता है, यह जानने के लिए फ्लैग्स के साथ A/B प्रयोग करें।
चरण 1. तैयारी
एक नया, प्रयोगात्मक बिल्ड तैयार करें। यह प्लेटफ़ॉर्म की आवश्यकताओं और ड्राफ़्ट सामग्री के अनुरूप होना चाहिए।
यांडेक्स गेम्स कंसोल के ज़रिए आर्काइव जोड़ें:
-
वांछित गेम चुनें।
-
Builds A/B Tests टैब पर जाएँ।
-
Start A/B Test पर क्लिक करें।
-
Experiment name और What’s new फ़ील्ड भरें। बताएँ कि नया बिल्ड गेम के मुख्य संस्करण से कैसे अलग है — यह जानकारी मॉडरेशन को बिल्ड की जाँच जल्दी करने में मदद करेगी।
-
Choose file पर क्लिक करें और गेम के प्रयोगात्मक बिल्ड वाला आर्काइव अपलोड करें।
-
Submit request पर क्लिक करें। ज़रूरत पड़ने पर Edit submission विकल्प का इस्तेमाल करें।
-
बिल्ड की जाँच का इंतज़ार करें। लगभग 5 मिनट बाद पेज रिफ्रेश करें:
- अगर बिल्ड में कोई तकनीकी ग़लती नहीं है, तो स्क्रीन के ऊपरी हिस्से में Build passed the check नोटिफिकेशन दिखाई देगा।
- अगर जाँच पास नहीं हुई, तो Back to submission पर क्लिक करें, बिल्ड ठीक करें और उसे फिर से अपलोड करें।
-
Submit for moderation पर क्लिक करें।
चरण 2. मॉडरेशन
नोट
मॉडरेशन से अनुरोध को पहले 2 घंटों के भीतर वापस लिया जा सकता है।
3–5 दिनों के भीतर मॉडरेशन के नतीजे Builds A/B Tests टैब पर पेज के ऊपरी हिस्से में दिखाई देंगे:
प्रयोग अपने आप शुरू हो गया: 50% यूज़र्स को गेम का नया, प्रयोगात्मक संस्करण दिखने लगा, बाकी को सामान्य संस्करण दिखता रहा।
मॉडरेशन ने नए बिल्ड को रिजेक्ट कर दिया, क्योंकि गेम में किए गए बदलाव आवश्यकताओं का उल्लंघन करते हैं। यांडेक्स आईडी में दिए गए ईमेल पर मॉडरेशन की तरफ़ से एक मेल आएगा, जिसमें उल्लंघित आवश्यकताओं के पॉइंट्स के लिंक के साथ इनकार की वजहें बताई जाएँगी। मॉडरेशन उल्लंघनों के रिकॉर्ड या स्क्रीनशॉट वाली फ़ाइलें अटैच करेगा।
दोबारा जाँच के लिए सबमिट करने से पहले:
- अगर उल्लंघित आवश्यकताओं के लिए स्पष्टीकरण या जाँच के तरीके हैं, तो उन्हें देखें।
- गेम में बदलाव करें।
- एक बार फिर ध्यान से जाँचें कि गेम उन आवश्यकताओं को पूरा करता है जिनका पिछली बार उल्लंघन हुआ था।
- अगर संभव हो, तो उन डिवाइसों पर गेम टेस्ट करें जिन पर मॉडरेशन की गई थी। इन डिवाइसों के मॉडल नोटिफिकेशन में बताए जाएँगे।
कोशिशों की संख्या पर कोई पाबंदी नहीं है, लेकिन हर बार रिजेक्ट होने के बाद मॉडरेशन के लिए दोबारा सबमिट करने से पहले इंतज़ार का समय एक दिन बढ़ जाता है।
अगर आपके कोई सवाल हैं — सपोर्ट सर्विस से संपर्क करें।
चरण 3. लॉन्च
प्रयोग शुरू होने के बाद Builds A/B Tests टैब पर टेस्टिंग के डेटा दिखाई देंगे: प्रयोग की शुरुआत की तारीख और वह तारीख जब वह अपने आप ख़त्म हो जाएगा। टेस्टिंग के पहले नतीजे कुछ दिनों में दिखाई देंगे, जो ग्राफ़ और टेबल में दिखाए जाएँगे।
बिल्ड्स की तुलना करने के लिए इन मेट्रिक्स का इस्तेमाल किया जाता है:
|
मेट्रिक |
विवरण |
|
Timespent per player |
औसत समय (मिनटों में) जो एक खिलाड़ी ने एक दिन में गेम में बिताया। |
|
Interstitial shows per player |
प्रति खिलाड़ी प्रतिदिन पूर्ण-स्क्रीन विज्ञापनों के प्रदर्शन की औसत संख्या। |
|
Rewarded shows per player |
प्रति खिलाड़ी प्रतिदिन इनाम वाले विज्ञापनों के प्रदर्शन की औसत संख्या। |
|
In-app purchases per player |
प्रति खिलाड़ी प्रतिदिन इन-ऐप खरीदारी की औसत संख्या। |
|
Ratio of players with in-app purchase* |
ऐप की दैनिक उपयोगकर्ताओं में से भुगतान करने वाले उपयोगकर्ताओं का प्रतिशत। |
|
Conversion To Play |
गेम सेशन का प्रतिशत जो 60 सेकंड से अधिक समय तक चलते हैं। |
|
Ad revenue delta* |
टेस्ट और कंट्रोल वेरिएंट में यांडेक्स विज्ञापन नेटवर्क से राजस्व का अंतर, कंट्रोल वेरिएंट के राजस्व के प्रतिशत के रूप में। |
|
In-App revenue per player* |
प्रति खिलाड़ी प्रतिदिन इन-ऐप खरीदारी से राजस्व (रूबल में)। |
* इन मेट्रिक्स को केवल गेम के मालिक और View income भूमिका वाले डेवलपर्स ही देख सकते हैं।
अगर मेट्रिक्स रंगीन हैं:
- हरा — नतीजा सकारात्मक और सांख्यिकीय रूप से महत्वपूर्ण है;
- लाल — नतीजा नकारात्मक और सांख्यिकीय रूप से महत्वपूर्ण है।
अगर मेट्रिक्स रंगीन नहीं हैं, तो यह स्पष्ट रूप से नहीं कहा जा सकता कि प्रयोग का यूज़र पर कोई असर पड़ रहा है या नहीं।
चेतावनी
खिलाड़ियों की एक्टिविटी के सांख्यिकीय रूप से महत्वपूर्ण नतीजे पाने के लिए, प्रयोग को कम से कम एक हफ्ते तक चलना चाहिए।
प्रयोग लॉन्च होने के 14 दिन बाद अपने आप ख़त्म हो जाएगा। इसे जल्दी ख़त्म करने के लिए, Stop → Yes, stop it पर क्लिक करें।
चरण 4. नतीजे
प्रयोग ख़त्म होने के बाद क्लिक करें:
- Publish, ताकि नया बिल्ड मुख्य बन जाए। दोबारा मॉडरेशन से गुज़रने की ज़रूरत नहीं है।
- Don’t publish, ताकि प्रयोग ख़त्म हो जाए और यूज़र्स को प्रयोगात्मक बिल्ड दिखना बंद हो जाए।
फ़ैसला लेने के बाद Close पर क्लिक करें।
क्योंकि यूज़र्स के व्यवहार पर कई फ़ैक्टर्स का असर पड़ेगा, इसलिए टेस्ट किए जा रहे बदलावों की भूमिका तय नहीं की जा सकेगी।
नए बिल्ड को ड्राफ़्ट में बताए गए जॉनर, उम्र की पाबंदी, टैग्स और प्रोमो सामग्री के अनुरूप होना चाहिए।
आप प्रयोग को जल्दी भी रोक सकते हैं, लेकिन सांख्यिकीय रूप से महत्वपूर्ण डेटा पाने के लिए, प्रयोग को कम से कम एक हफ्ते तक चलना चाहिए।
ZIP आर्काइव:
- 100 MB से ज़्यादा का नहीं होना चाहिए;
- सिर्फ़ एक
index.htmlफ़ाइल होनी चाहिए।
95% संभावना के साथ मेट्रिक में सुधार नए बिल्ड में किए गए बदलावों से जुड़ा हुआ है।
95% संभावना के साथ मेट्रिक में गिरावट नए बिल्ड में किए गए बदलावों से जुड़ी हुई है।