A/B टेस्ट सिग्निफिकेंस कैलकुलेटर क्या है?
यह टूल आपको बताता है कि किसी A/B टेस्ट में दो वैरिएंट के बीच का अंतर सांख्यिकीय रूप से सार्थक (significant) है या यह सिर्फ़ संयोग का नतीजा हो सकता है। यह टू-प्रोपोर्शन z-टेस्ट का इस्तेमाल करता है, जो कंट्रोल (A) और वैरिएंट (B) के बीच कन्वर्ज़न दरों की तुलना करने का मानक तरीका है।
इसका इस्तेमाल कैसे करें
हर वैरिएंट के लिए कन्वर्ज़न की संख्या और कुल विज़िटर की संख्या दर्ज करें। कैलकुलेटर आपको z-स्कोर, टू-टेल्ड p-वैल्यू और कॉन्फिडेंस लेवल देता है। 95% या उससे ज़्यादा का कॉन्फिडेंस (p-वैल्यू ≤ 0.05) किसी विजेता को घोषित करने की आम सीमा मानी जाती है।
फॉर्मूला समझें
सबसे पहले पूल्ड प्रोपोर्शन निकाला जाता है: \(\bar{p} = (x_1 + x_2) / (n_1 + n_2)\)। स्टैंडर्ड एरर होता है \(\sqrt{\bar{p}(1-\bar{p})(1/n_1 + 1/n_2)}\)। z-स्कोर दोनों देखी गई दरों के अंतर को इस स्टैंडर्ड एरर से भाग देने पर मिलता है:
$$Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\bar{p}\,(1-\bar{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}}$$p-वैल्यू स्टैंडर्ड नॉर्मल डिस्ट्रिब्यूशन (टू-टेल्ड) से निकाली जाती है, और कॉन्फिडेंस \(= (1 - p\text{-वैल्यू}) \times 100\%\) होता है।
हल किया हुआ उदाहरण
वैरिएंट A: 1,000 में से 120 कन्वर्ज़न (12%)। वैरिएंट B: 1,000 में से 150 (15%)। पूल्ड \(\bar{p} = 270/2000 = 0.135\)। \(\text{SE} = \sqrt{0.135 \times 0.865 \times (0.001 + 0.001)} \approx 0.01528\)। \(Z = (0.12 - 0.15) / 0.01528 \approx -1.963\)। टू-टेल्ड p-वैल्यू \(\approx 0.0496\), यानी करीब 95% कॉन्फिडेंस — यह एक बॉर्डरलाइन सार्थक परिणाम है।
अक्सर पूछे जाने वाले सवाल
मुझे किस कॉन्फिडेंस लेवल का लक्ष्य रखना चाहिए? 95% इंडस्ट्री का मानक है, यानी परिणाम के फॉल्स पॉज़िटिव होने की संभावना सिर्फ़ 5% है।
क्या सैंपल साइज़ मायने रखता है? हाँ। छोटे सैंपल असली अंतर होने पर भी बड़ी p-वैल्यू देते हैं; टेस्ट को तब तक चलने दें जब तक हर वैरिएंट को पर्याप्त विज़िटर न मिल जाएँ।
टू-टेल्ड क्यों? टू-टेल्ड टेस्ट किसी भी दिशा में अंतर का पता लगाता है (B, A से बेहतर हो या ख़राब), जो ज़्यादा सुरक्षित डिफ़ॉल्ट विकल्प है।
