यह कैलकुलेटर क्या करता है
A/B टेस्ट सिग्निफिकेंस कैलकुलेटर आपको बताता है कि दो कन्वर्ज़न दरों के बीच का अंतर सचमुच असली है या महज़ संयोग (रैंडम नॉइज़) का नतीजा। यह आपके कंट्रोल (वेरिएंट A) और चुनौती देने वाले (वेरिएंट B) के विज़िटर और कन्वर्ज़न पर क्लासिक टू-प्रोपोर्शन z-टेस्ट चलाता है और देता है: एक Z-स्कोर, टू-टेल्ड p-वैल्यू, सापेक्ष उत्थान (relative uplift), और आपके चुने हुए कॉन्फिडेंस लेवल पर एक साफ़ निष्कर्ष — सार्थक है या नहीं।
इसका उपयोग कैसे करें
हर वेरिएंट के लिए विज़िटर की संख्या और कन्वर्ज़न की संख्या भरें, फिर कॉन्फिडेंस लेवल चुनें (90%, 95% या 99%)। सबसे आम विकल्प 95% है, जिसका क्रिटिकल Z 1.96 होता है। अगर Z-स्कोर का निरपेक्ष मान (absolute value) इस क्रिटिकल सीमा के बराबर या उससे ज़्यादा हो, तो परिणाम को सांख्यिकीय रूप से सार्थक माना जाता है।
फ़ॉर्मूला समझें
हर कन्वर्ज़न दर होती है \(\hat{p} = \text{कन्वर्ज़न} / \text{विज़िटर}\)। यह टेस्ट दोनों सैंपल को मिलाकर एक संयुक्त अनुपात निकालता है $$\hat{p} = \frac{c_A + c_B}{n_A + n_B}$$ ताकि एक समान स्टैंडर्ड एरर का अनुमान लगाया जा सके। Z-स्कोर दरों के बीच देखे गए अंतर को उसी स्टैंडर्ड एरर से भाग देकर निकलता है। $$z = \frac{\hat{p}_B - \hat{p}_A}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_A}+\frac{1}{n_B}\right)}}$$ Z का निरपेक्ष मान जितना बड़ा होगा, अंतर के संयोग से होने की संभावना उतनी ही कम होगी। टू-टेल्ड p-वैल्यू, स्टैंडर्ड नॉर्मल कर्व के तहत Z-स्कोर के आगे के अपर-टेल क्षेत्रफल का दोगुना होती है।
हल किया हुआ उदाहरण
वेरिएंट A: 1000 विज़िटर, 100 कन्वर्ज़न (10.0%)। वेरिएंट B: 1000 विज़िटर, 130 कन्वर्ज़न (13.0%)। संयुक्त दर है \(230/2000 = 0.115\), स्टैंडर्ड एरर है $$\sqrt{0.115 \times 0.885 \times \left(\frac{1}{1000} + \frac{1}{1000}\right)} \approx 0.01427$$ इसलिए \(Z \approx 0.03 / 0.01427 \approx 2.10\)। 95% कॉन्फिडेंस पर (क्रिटिकल Z = 1.96) यह परिणाम सांख्यिकीय रूप से सार्थक है, और इसकी टू-टेल्ड p-वैल्यू लगभग 0.036 है।
आत्मविश्वास स्तर द्वारा महत्वपूर्ण Z-मान
दो-पूंछ वाली Z-परीक्षा के लिए, देखे गए Z-स्कोर की तुलना एक महत्वपूर्ण मान के साथ की जाती है जो चुने गए आत्मविश्वास स्तर पर निर्भर करता है। आत्मविश्वास स्तर \(1-\alpha\) के बराबर है, जहां \(\alpha\) महत्व सीमा है (झूठी सकारात्मकता की अधिकतम स्वीकार्य संभावना)। परिणाम को महत्वपूर्ण घोषित किया जाता है जब निरपेक्ष Z-स्कोर महत्वपूर्ण मान से अधिक होता है, समतुल्य रूप से जब p-मान \(\alpha\) से नीचे होता है।
| आत्मविश्वास स्तर | महत्व स्तर \(\alpha\) | p-मान सीमा | दो-पूंछ महत्वपूर्ण Z |
|---|---|---|---|
| 90% | 0.10 | < 0.10 | 1.645 |
| 95% | 0.05 | < 0.05 | 1.960 |
| 99% | 0.01 | < 0.01 | 2.576 |
ये महत्वपूर्ण मान मानक सामान्य वितरण से आते हैं: प्रत्येक प्रत्येक पूंछ में \(\alpha/2\) की संभावना छोड़ता है। 95% स्तर (महत्वपूर्ण Z = 1.96) रूपांतरण-दर परीक्षण में सबसे आम डिफ़ॉल्ट है।
मुख्य शब्दों की परिभाषा
- रूपांतरण दर
- आगंतुकों का अनुपात जिन्होंने लक्ष्य कार्रवाई पूरी की, \(p = \text{रूपांतरण} / \text{आगंतुक}\), किसी दिए गए वेरिएंट के लिए।
- शून्य परिकल्पना
- डिफ़ॉल्ट मान्यता कि दोनों वेरिएंट का समान सच्चा रूपांतरण दर है, अर्थात \(p_A = p_B\) और कोई भी देखा गया अंतर यादृच्छिक मौका के कारण है।
- संयुक्त अनुपात
- दोनों वेरिएंट की संयुक्त रूपांतरण दर, \(\bar{p} = (\text{रूप}_A + \text{रूप}_B)/(n_A + n_B)\), शून्य परिकल्पना के तहत भिन्नता का अनुमान लगाने के लिए उपयोग किया जाता है।
- मानक त्रुटि
- रूपांतरण दरों के अंतर का अनुमानित मानक विचलन, \(\sqrt{\bar{p}(1-\bar{p})(1/n_A + 1/n_B)}\); यह नमूना आकार बढ़ने के साथ सिकुड़ता है।
- Z-स्कोर
- रूपांतरण दरों में देखा गया अंतर, मानक-त्रुटि इकाइयों में व्यक्त किया गया; बड़ा परिमाण का अर्थ है कि अंतर शून्य परिकल्पना के तहत कम संभावित है।
- p-मान
- मापे गए से कम से कम उतना ही चरम अंतर देखने की संभावना, यह मानते हुए कि शून्य परिकल्पना सच है। छोटे p-मान शून्य के विरुद्ध मजबूत साक्ष्य देते हैं।
- दो-पूंछ परीक्षा
- एक परीक्षा जो दोनों दिशाओं में अंतर का पता लगाता है (B A से बेहतर या बदतर है), \(\alpha\) को वितरण की दोनों पूंछों में विभाजित करता है।
- आत्मविश्वास स्तर
- \(1-\alpha\), वह सीमा (जैसे 95%) जिस पर परिणाम को महत्वपूर्ण माना जाता है; यह निर्धारित करता है कि कितनी बार एक सच्चे शून्य को गलती से अस्वीकार किया जाता है।
- सांख्यिकीय महत्व
- निष्कर्ष कि देखा गया अंतर अकेले संयोग के कारण होने की संभावना नहीं है, जब p-मान \(\alpha\) से नीचे गिरता है तो पहुंचा जाता है।
- सापेक्ष वृद्धि
- वेरिएंट B में वेरिएंट A के ऊपर प्रतिशत परिवर्तन, \((p_B - p_A)/p_A \times 100\%\), प्रभाव के आकार का वर्णन करता है।
अपने परिणाम की व्याख्या करना
एक महत्वपूर्ण परिणाम का अर्थ है कि p-मान आपके चुने हुए \(\alpha\) के नीचे है (उदाहरण के लिए 95% आत्मविश्वास पर 0.05 के नीचे), इसलिए वेरिएंट के बीच देखा गया अंतर शून्य परिकल्पना के तहत संयोग से उत्पन्न होने की संभावना नहीं है। एक महत्वपूर्ण नहीं परिणाम का अर्थ है कि डेटा कोई वास्तविक अंतर नहीं दिखाते हैं — यह साबित नहीं करता है कि वेरिएंट समान हैं, केवल यह कि आपके पास उन्हें अलग करने के लिए पर्याप्त साक्ष्य नहीं है।
कार्य किया गया उदाहरण: 5,000 आगंतुकों और 250 रूपांतरण के साथ A में (\(p_A = 0.05\)) और 5,000 आगंतुकों और 300 रूपांतरण के साथ B में (\(p_B = 0.06\)), संयुक्त अनुपात \(\bar p = 550/10000 = 0.055\) है। मानक त्रुटि \(\sqrt{0.055\times0.945\times(1/5000+1/5000)} \approx 0.004558\) है, जो \(Z = (0.06-0.05)/0.004558 \approx\) 2.19 देता है। चूंकि 2.19 > 1.96, परिणाम 95% आत्मविश्वास पर महत्वपूर्ण है, 20% की सापेक्ष वृद्धि के साथ।
इन आंकड़ों को कैसे परिभाषित किया जाता है, इससे कई सावधानियां सीधे अनुसरण करती हैं:
- p-मान यह संभावना नहीं है कि B, A से बेहतर है। यह देखे गए (या अधिक चरम) डेटा की संभावना है यह मानते हुए कि शून्य सच है — डेटा के बारे में एक कथन किसी परिकल्पना को दिया गया है, परिकल्पना के बारे में नहीं डेटा को दिया गया है।
- महत्व महत्ता के समान नहीं है। बहुत बड़े नमूनों के साथ एक छोटी, वाणिज्यिक रूप से अप्रासंगिक वृद्धि सांख्यिकीय रूप से महत्वपूर्ण हो सकती है। हमेशा सापेक्ष वृद्धि और इसके व्यावहारिक मान को पढ़ें, केवल निर्णय नहीं।
- नमूना आकार संवेदनशीलता को चलाता है। छोटे नमूने बड़ी मानक त्रुटियां उत्पन्न करते हैं, इसलिए एक वास्तविक प्रभाव गैर-महत्वपूर्ण दिख सकता है; बड़े नमूने छोटे प्रभावों का पता लगाते हैं। परीक्षण शुरू करने से पहले एक लक्ष्य नमूना आकार की योजना बनाएं।
- जांचने और कई परीक्षण से बचें। बार-बार परिणामों की जांच करना और जैसे ही p < 0.05 पर रुकना, झूठी-सकारात्मक दर को नाममात्र \(\alpha\) से बहुत ऊपर बढ़ाता है। निश्चित-क्षितिज Z-परीक्षा मानता है कि आप एक पूर्वनिर्धारित नमूना आकार पर एक बार मूल्यांकन करते हैं; कई वेरिएंट या मेट्रिक्स का परीक्षण करना भी एक स्पष्ट "जीत" की संभावना को गुणा करता है और एक कठोर सीमा की वारंटी देता है।
यह उपकरण अनुपात के लिए एक आवृत्तिवादी दो-पूंछ Z-परीक्षा की रिपोर्ट करता है; यह सामान्य सांख्यिकीय जानकारी है और जब दांव अधिक होते हैं तो अनुकूलित प्रायोगिक डिजाइन के लिए कोई विकल्प नहीं है।
अक्सर पूछे जाने वाले सवाल
मुझे कितने विज़िटर चाहिए? कोई तय संख्या नहीं है — छोटे अंतर को परखने के लिए बड़े सैंपल चाहिए। अगर आपका परिणाम सीमा-रेखा पर है, तो फ़ैसला लेने से पहले और डेटा जुटाएँ।
p-वैल्यू का मतलब क्या है? यह वह संभावना है कि अगर दोनों वेरिएंट सचमुच एक जैसे होते, तब भी इतना बड़ा (या इससे बड़ा) अंतर दिखता। यह जितनी छोटी होगी, असली अंतर होने का प्रमाण उतना ही मज़बूत होगा।
क्या परिणाम सार्थक होते ही टेस्ट रोक देना चाहिए? नहीं। बार-बार झाँकना ("peeking") फ़ॉल्स पॉज़िटिव बढ़ा देता है। पहले से सैंपल साइज़ या अवधि तय करें और तभी मूल्यांकन करें।
