प्रयोग

यह जानने के लिए कि आपके गेम में नए बदलाव उपयोगकर्ता के व्यवहार को कैसे प्रभावित करते हैं, A/B प्रयोग चलाएँ। अपने प्रयोग के लिए, अपने उपयोगकर्ताओं के सभी हिस्से चुनें और उन्हें समूहों में विभाजित करें। प्रत्येक समूह को आपकी ऐप का अद्वितीय प्रयोगात्मक वेरिएंट दिखाया जाएगा। सभी वेरिएंट्स गेम्स कंसोल में एकल संस्करण के आधार पर फ़्लैग्सका इस्तेमाल करके बनाए जाते हैं, जो कुंजी-मान जोड़े होते हैं।

यह निर्धारित करने के लिए निगरानी करें कि रिपोर्ट में समय के साथ आपके मेट्रिक्स कैसे बदलते हैं कि कौन से बदलाव सफल हैं और आपके गेम की प्रभावशीलता में सुधार करते हैं।

प्रयोग बनाने से पहले:

1. अपने प्रयोग की योजना बनाएँ:

   • आप किस प्राक्कल्पना का परीक्षण करना चाहते हैं?
   • वेरिएंट्स के बीच क्या अंतर है?
   • आप क्या लक्ष्य हासिल करना चाहते हैं?

2. कार्यक्षमता को लागू करें। उन शर्तों और फ़्लैग्स का इस्तेमाल करें, जो getFlags() विधि द्वारा बहाल किए गए हैं और नया ऐप संस्करण अपलोड करें।

3. यदि ज़रूरी हो, तो कॉन्फ़िगरेशनमें नए फ़्लैग्स जोड़ें, और बदलाव प्रकाशित करें।

प्रयोग बनाएँ

प्रयोग बनाने के लिए:

1. आप गेम्स कंसोलपर जाएँ।
2. ऐप चुनें।
3. आप Experiments टैब पर जाएँ और Create experimentपर क्लिक करें।

चरण 1. नाम और विवरण

अपने प्रयोग के लिए नाम जोड़ें। आप वैकल्पिक Description फ़ील्ड को भी भर सकते हैं, जो यह दर्शाएगा कि आप वास्तव में क्या परीक्षण कर रहे हैं (उदाहरण के लिए, बटन के रंग या मूल्यवान रिवॉर्ड ड्रॉप दरें), आपका अपेक्षित आउटकम, और मेट्रिक्स जिसे आप सुधारना चाहते हैं।

चरण 2. शर्तों से है

Date range

डिफ़ॉल्ट रूप से, प्रयोग केवल समय द्वारा सीमित होता है। आप प्रयोग की प्रारंभ तिथि और अवधि को परिभाषित कर सकते हैं।

Audience share

प्रयोग में भाग लेने के लिए अपने दर्शकों का हिस्सा सेट करें।

उदाहरण

यदि आपके दर्शकों का हिस्सा 60% है, तो 40% उपयोगकर्ता प्रयोग में भाग नहीं लेते। 60% भाग लेने वाले लोगों को अनेक समूहों में विभाजित किया जाता है। समूहों की संख्या प्रयोग वेरिएंट्स की संख्या के मिलान में होती है, प्रत्येक समूह को एक वेरिएंट मिलता है। उदाहरण के लिए, यदि आपके प्रयोग में आपके दर्शकों का 60% शामिल है और इसमें तीन वेरिएंट्स हैं, तो इसका मतलब है कि प्रत्येक वेरिएंट को आपके कुल दर्शकों का 20% मिलता है। यह हिस्सा प्रत्येक वेरिएंट के दाईं ओर निर्दिष्ट किया जाता है।

Conditions

प्रयोग के दर्शकों को सीमित करने के लिए शर्तों का इस्तेमाल करें। जब आप उन्हें जोड़ लेंगे, तो आपके प्रयोग दर्शकों में केवल वे उपयोगकर्ता शामिल होंगे, जो इन सभी शर्तों को पूरा करते हैं। आपके Audience share की गणना इन दर्शकों के आधार पर की जाएगी।

दर्शक सीमित करने के लिए, Add conditionपर क्लिक करें, सभी ज़रूरी शर्तों को चुनें, और प्रकट होने वाले फ़ील्ड भरें।

उपलब्ध शर्तें:

• Platforms: मोबाइल, डेस्कटॉप, या टीवी डिवाइसेज़।
• Languages: उन उपयोगकर्ताओं की डिवाइसेज़ पर भाषा. जिन्हें आपका कॉन्फ़िगरेशन दिखाया जाएगा।
• Regions: उपयोगकर्ता के डिवाइस पर सेट क्षेत्र।
• Client features: आप कुंजी-मान पेयर के रूप में अपने पैरामीटर्स सेट कर सकते हैं। उदाहरण के लिए: param=value। "और" ऑपरेटर के साथ संयुक्त अनेक मान निर्दिष्ट करने के लिए, पैरामीटर्स को कॉमा द्वारा अलग करके सूचीबद्ध करें। उदाहरण: aparam=avalue, bparam=bvalue।

चरण 3. मेट्रिक्स

प्रयोग के लिए छह मेट्रिक्स उपलब्ध हैं, और इन सभी छह पर प्रयोग के परिणामों की एक रिपोर्ट बनाई जाएगी।

मेट्रिक	विवरण
Timespent per player	औसत समय (मिनटों में) जो एक खिलाड़ी ने एक दिन में गेम में बिताया।
Interstitial shows per player	प्रति खिलाड़ी प्रतिदिन पूर्ण-स्क्रीन विज्ञापनों के प्रदर्शन की औसत संख्या।
Rewarded shows per player	प्रति खिलाड़ी प्रतिदिन इनाम वाले विज्ञापनों के प्रदर्शन की औसत संख्या।
In-app purchases per player	प्रति खिलाड़ी प्रतिदिन इन-ऐप खरीदारी की औसत संख्या।
Ratio of players with in-app purchase*	ऐप की दैनिक उपयोगकर्ताओं में से भुगतान करने वाले उपयोगकर्ताओं का प्रतिशत।
Conversion To Play	गेम सेशन का प्रतिशत जो 60 सेकंड से अधिक समय तक चलते हैं।
Ad revenue delta*	टेस्ट और कंट्रोल वेरिएंट में यांडेक्स विज्ञापन नेटवर्क से राजस्व का अंतर, कंट्रोल वेरिएंट के राजस्व के प्रतिशत के रूप में।
In-App revenue per player*	प्रति खिलाड़ी प्रतिदिन इन-ऐप खरीदारी से राजस्व (रूबल में)।

* इन मेट्रिक्स को केवल गेम के मालिक और View income भूमिका वाले डेवलपर्स ही देख सकते हैं।

चरण 4. वेरिएंट्स सेट अप करें

प्रयोग के भाग के रूप में उपयोगकर्ताओं को दिखाने के आप लिए अनेक वेरिएंट्स सेट कर सकते हैं। हम नियंत्रण वेरिएंट के रूप में बदलाव के बिना अपने ऐप के मौजूदा वेरिएंट का इस्तेमाल करने की अनुशंसा करते हैं, लेकिन आप उस वेरिएंट में भी बदलाव सेट अप कर सकते हैं।

फ़्लैग्स का इस्तेमाल करके नियंत्रण और प्रयोगात्मक वेरिएंट्स में बदलाव सेट अप करें, जिसे आप getFlags () विधिके साथ प्राप्त कर सकते हैं। आपको खुद ऐप में बदलाव करने की ज़रूरत नहीं है। फ़्लैग्स स्ट्रिंग मान प्रकार लेते हैं।

1. उस वेरिएंट के साथ वह ब्लॉक चुनें, जिसमें आप प्रयोग में बदलाव लागू करना चाहते हैं।
2. बदले गए पैरामीटर्स के साथ फ़्लैग्स सेट करें।

आपके दर्शकों को समान भागों में विभाजित किया जाएगा, जिनकी संख्या आपके द्वारा बनाए गए वेरिएंट्स की संख्या के अनुरूप होगी। प्रत्येक वेरिएंट को लगभग समान उपयोगकर्ताओं को दिखाया जाएगा।

चरण 5. प्रयोग को सहेजें और चलाएँ

आप अपना प्रयोग तुरंत शुरू कर सकते हैं या इसे ड्राफ़्ट के रूप में सहेज सकते हैं, ताकि आप इसे बाद में संपादित कर सकें और चला सकें। आप अपने प्रयोग की किसी भी समय जाँच कर सकते हैं।

प्रयोग की जाँच करना

आप अपने पास मौजूद वेरिएंट्स की जाँच कर सकते हैं और लागू किए गए बदलाव देख सकते हैं:

1. सुनिश्चित करें कि आपने उस वेरिएंट के लिए प्रयोगात्मक फ़्लैग्स चुने हैं, जिसकी आप जाँच करना चाहते हैं।
2. वेरिएंट नाम के आगे Experiment testing ब्लॉक में, लिंक पर क्लिक करें या किसी अन्य डिवाइस पर खोलने के लिए उसकी प्रतिलिपि बनाएँ।
3. परीक्षण करें कि ऐप चयनित प्रयोगात्मक फ़्लैग मान के साथ काम करती है।

वेरिएंट्स का परीक्षण करते समय प्रयोग की शर्तों को ध्यान में नहीं रखा जाता।

नमूना आकार कैल्कुलेटर

आप Sample size calculator ब्लॉक में जाँच सकते हैं कि क्या आपको आपके द्वारा चुने गए प्रयोग की शर्तों के साथ सांख्यिकीय रूप से महत्वपूर्ण परिणाम मिलते हैं।

कैलकुलेटर न्यूनतम पता लगाने योग्य प्रभाव (Minimum Detectable Effect, MDE) की गणना करता है। यह वर्तमान डेटा और निर्धारित स्तर के महत्व के आधार पर मेट्रिक में परिवर्तन का सबसे छोटा पता लगाने योग्य स्तर निर्धारित करता है।

• कम MDE स्कोर मेट्रिक में मामूली प्रतिशत परिवर्तन का भी पता लगाता है।

  सुझाव

  MDE को कम करने के लिए नमूना आकार या प्रयोग की अवधि बढ़ाएं।

• उच्च MDE स्कोर:

  • केवल महत्वपूर्ण परिवर्तनों का पता लगाता है।
  • छोटे दर्शक वर्ग पर प्रयोग के लिए उपयुक्त।

अपने ऐप और प्रयोग के बारे में जानकारी प्रदान करते हुए, कैल्कुलेटर फ़ील्ड भरें:

• Total players per day: प्रयोग की शर्तों के लिए दैनिक उपयोगकर्ताओं की संख्या, लेकिन नमूना आकार नहीं (बाद वाले Audience share ब्लॉक में इंगित किया जाना चाहिए)। आप Total players per day फ़ील्ड के लिए मान की गणना करने के लिए, Players उत्पाद मेट्रिक्स का इस्तेमाल करें।
• Duration: दिनों में प्रयोग की अवधि। यह Date range फ़ील्ड में मान के संगत है, जो चरण 2. शर्तों से है।
• Audience share: अपने दर्शकों का हिस्सा, जो प्रयोग में भाग लेंगे। यह Audience share फ़ील्ड में मान के संगत है, जो चरण 2. शर्तों से है।
• Variants: प्रयोग में वेरिएंट्स की संख्या (2 से 26 तक)।
• Number of events per player: प्रति औसत खिलाड़ी लक्ष्य ईवेंट्स की संख्या। इस मान की गणना करने के लिए, प्रयोग की शर्तों पर विचार करने के साथ इस अवधि के लिए अद्वितीय उपयोगकर्ताओं की संख्या से अवधि के लिए ऐसे ईवेंट्स की संख्या को विभाजित करें। आपके द्वारा यहाँ चुना गया लक्ष्य ईवेंट आपकी प्राथमिकता मेट्रिक पर आधारित होना चाहिए। यदि आप एक ही प्रयोग में अनेक मेट्रिक्स का आकलन करना चाहते हैं, तो उनमें से प्रत्येक के लिए अलग-अलग गणना करें।

Borders of the detected effect: यह पैरामीटर आपको यह देखने में सहायता करता है कि कौन से मेट्रिक्स को सांख्यिकीय रूप से महत्वपूर्ण माना जा सकता है। वे निर्दिष्ट सीमाओं के बाहर होंगे: लाल से छोटे और हरे की तुलना में बड़े। सीमाओं के बीच स्थित मेट्रिक्स नियंत्रण वेरिएंट रूपांतरण से रैंडम विविधताएँ हो सकती हैं। यदि रेंज बहुत व्यापक है और आप कम प्रमुख मेट्रिक्स बदलावों की तलाश कर रहे हैं, तो प्रयोग की शर्तों को समायोजित करने का प्रयास करें। उदाहरण के लिए, अवधि या दर्शकों का भाग बढ़ाएँ।

प्रयोग चलाना

प्रयोग प्रारंभ करने के लिए, Save and runपर क्लिक करें। यदि सब कुछ ठीक है, तो संक्षिप्त प्रयोग अवलोकन पढ़ें और Run पर क्लिक करें।

प्रयोग शुरू हो जाने के बाद, आप Flags टैब पर यह देखने में सक्षम होंगे कि प्रयोगों में कौन से फ़्लैग्स का इस्तेमाल किया गया है। आप Experiments टैब पर प्रारंभिक रिपोर्ट देखने में भी सक्षम होंगे।

प्रयोग के परिणामों पर रिपोर्ट करें

इस रिपोर्ट में, आप नियंत्रण वेरिएंट की तुलना में प्रयोगात्मक वेरिएंट में सांख्यिकीय रूप से महत्वपूर्ण मेट्रिक्स बदलाव देख सकते हैं।

रिपोर्ट कैसे पढ़ें

रिपोर्ट देखने के लिए:

1. आप गेम्स कंसोलपर जाएँ।
2. ऐप चुनें।
3. आप Experiments टैब को खोलें और प्रयोग के नाम के अंतर्गत View results पर क्लिक करें।

प्रयोग के संक्षिप्त विवरण के नीचे, आप किसी उपलब्ध मेट्रिक्स और रिपोर्ट के लिए समय की रेंज चुन सकते हैं। जब प्रयोग चलेगा, तो ग्राफ़ सभी परीक्षण किए गए वेरिएंट्स के लिए चयनित मेट्रिक्स के मान को दिखाएगा।

ग्राफ़ के अंतर्गत, आपको निम्नलिखित संख्यात्मक मान वाली तालिका दिखाई देगी:

- सहायक मेट्रिक्स जैसे Number of unique players।

• मुख्य मेट्रिक्स जिसे ग्राफ़ के ऊपर मेनू में चुना जा सकता है।
• Δ: प्रयोगात्मक और नियंत्रण वेरिएंट्स में मेट्रिक मान के बीच अंतर।
• Δ, %: प्रयोगात्मक और नियंत्रण वेरिएंट्स में मेट्रिक्स मान के बीच अंतर, जिसे नियंत्रण वेरिएंट मेट्रिक मान के प्रतिशत के रूप में व्यक्त किया जाता है।
• P-value: सांख्यिकीय मानदंड परीक्षण परिणाम की मुख्य संख्यात्मक विशेषता। इस संकेतक के बारे में ज़्यादा जानकारी के लिए, रिपोर्ट किन समस्याओं का समाधान कर सकती हैदेखें।

यदि मेट्रिक्स में ये रंग हैं:

• हरा, परिणाम सकारात्मक और सांख्यिकीय रूप से महत्वपूर्ण हैं।
• लाल, परिणाम नकारात्मक और सांख्यिकीय रूप से महत्वपूर्ण हैं।

रंग तीव्रता के तीन ग्रेडेशन हैं, जो P-value के आधार पर इस्तेमाल किए जाते हैं। थ्रेशोल्ड मान 0.05, 0.01, और 0.001 हैं।

यदि मीट्रिक्स किसी रूप में नहीं रंगीन हैं, तो स्पष्ट रूप से नहीं कह सकते कि प्रयोग का उपभोक्ता पर प्रभाव पड़ रहा है या नहीं।

रिपोर्ट किन समस्याओं का समाधान कर सकती है

प्रयोग निम्नलिखित प्राकल्पनाओं का परीक्षण करता है:

• H0: नियंत्रण वेरिएंट की तुलना में दिए गए वेरिएंट में मेट्रिक्स का मान नहीं बदला।
• H1: नियंत्रण वेरिएंट की तुलना में दिए गए वेरिएंट में मेट्रिक्स का मान बदला है।

नियोजित सांख्यिकीय मानदंड बकेटिंग विधियों के साथ मान-व्हिटनी यू टेस्ट है। यदि डेटा मात्रा कम है, तो भिन्नता के लिए सुधार लागू किए जाते हैं।

प्रयोग परिणामों का आकलन करने के लिए P-value मुख्य विशेषता के रूप में काम करता है। यह परीक्षण परिणामों को कम से कम चरम के रूप में प्राप्त करने की संभावना को निर्धारित करने में सहायता करता है, जैसा इस धारणा के अंतर्गत परिणाम वास्तव में देखा गया है कि मेट्रिक्स मूल्य वास्तव में बदला नहीं है (उदाहरण में H0 प्राक्कल्पना)। ज़्यादा जानकारी के लिए, YAN सहायता में P-value पर विकीपीडिया आलेख।

यदि H0 प्राक्कल्पना सही है, तो रिपोर्ट में पंक्ति हाइलाइट नहीं की जाती।

यह ध्यान रखना महत्वपूर्ण है कि H0 प्राक्कल्पना की स्वीकृति का मतलब यह नहीं है कि मेट्रिक्स नहीं बदली। आप केवल इस बारे में आश्वस्त हो सकते हैं कि प्रभाव MDEकी तुलना में उच्चतर नहीं है। मेट्रिक्स में छोटे बदलाव देखने के लिए, आप प्रयोग अवधि या दर्शकों के आकार को बढ़ा सकते हैं। नए मान निर्धारित करने के लिए, नमूना आकार कैल्कुलेटरका इस्तेमाल करें।

यदि H1 प्राक्कल्पना की P-value <= 0.05 के महत्व लेवल के साथ पुष्टि की जाती है, तो रिपोर्ट में पंक्ति को हाइलाइट किया जाता है।

प्राक्कल्पना स्वीकृति, P-value की महत्व लेवल के साथ तुलना करके दी जाती है: P-value <= अल्फ़ा। डिफ़ॉल्ट अल्फ़ा थ्रेशोल्ड 0.05 है।

यह समझना महत्वपूर्ण है कि अल्फ़ा का इस्तेमाल करना टाइप I त्रुटियों (ग़लत सकारात्मक) की संभावना से जुड़ा हुआ है। दूसरी ओर, अल्फ़ा को बहुत कम बनाना उचित नहीं है, क्योंकि इससे टाइप II त्रुटियों (ग़लत नकारात्मक) और MDE की संभावना बढ़ जाती है।

प्रयोग को स्वीकार करें

1. आप गेम्स कंसोलका इस्तेमाल करें।
2. ऐप चुनें।
3. आप Experiments टैब को खोलें और प्रयोग के नाम के अंतर्गत View results पर क्लिक करें।
4. सभी वेरिएंट्स के लिए परीक्षण परिणामों का विश्लेषण करें और तय करें कि आपके द्वारा किए गए बदलाव सफल रहे हैं या नहीं।

प्रयोगात्मक वेरिएंट का इस्तेमाल अपने मुख्य वेरिएंट के रूप में करने के लिए, Add flags to configपर क्लिक करें। नए मान आपके ऐप के पिछले संस्करण में उपलब्ध होंगे।

यदि आप दृढ़ निष्कर्ष नहीं निकाल सकते हैं, तो प्रयोग की शर्तों को बदलने का प्रयास करें। नई प्रयोग अवधि या दर्शकों का भाग चुनने के लिए, नमूना आकार कैल्कुलेटरका इस्तेमाल करें।

पहचान-योग्य न्यूनतम प्रभाव।

यदि P-value <= 0.05 है, तो यह संभावना, 95% से ज़्यादा या बराबर होती है कि मेट्रिक्स सुधार परीक्षण किए गए फ़्लैग बदलावों से संबंधित है। ज़्यादा जानकारी के लिए, YAN सहायता में रिपोर्ट किन समस्याओं का समाधान कर सकती हैदेखें।

यदि P-value <= 0.05 है, तो यह संभावना, 95% से ज़्यादा या बराबर होती है कि मेट्रिक्स ह्रास परीक्षण किए गए फ़्लैग बदलावों से संबंधित है। ज़्यादा जानकारी के लिए, YAN सहायता में रिपोर्ट किन समस्याओं का समाधान कर सकती हैका इस्तेमाल करें।