A/B test anlamlılık hesaplayıcı nedir?
Bu araç, bir A/B testindeki iki varyant arasındaki farkın istatistiksel olarak anlamlı mı olduğunu yoksa sadece rastlantısal mı olabileceğini söyler. Bir kontrol (A) ile bir varyant (B) arasındaki dönüşüm oranlarını karşılaştırmanın standart yöntemi olan iki oranlı z-testini kullanır.
Nasıl kullanılır?
Her varyant için dönüşüm sayısını ve toplam ziyaretçi sayısını girin. Hesaplayıcı size z-skorunu, çift yönlü (two-tailed) p-değerini ve güven düzeyini verir. %95 veya daha yüksek bir güven düzeyi (p-değeri ≤ 0,05), bir kazananı ilan etmek için yaygın olarak kullanılan eşiktir.
Formül açıklaması
Önce birleşik oran şu şekilde hesaplanır: \(\hat{p} = \dfrac{x_1 + x_2}{n_1 + n_2}\). Standart hata ise \(\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}\) olur. Z-skoru, gözlemlenen iki oran arasındaki farkın bu standart hataya bölünmesidir:
$$Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\bar{p}\,(1-\bar{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}}$$P-değeri standart normal dağılımdan (çift yönlü) elde edilir ve güven düzeyi \((1 - \text{p-değeri}) \times 100\%\) olarak bulunur.
Örnek hesaplama
Varyant A: 1.000 ziyaretçiden 120 dönüşüm (%12). Varyant B: 1.000 ziyaretçiden 150 dönüşüm (%15). Birleşik \(\hat{p} = 270/2000 = 0{,}135\).
$$\text{SE} = \sqrt{0{,}135 \times 0{,}865 \times (0{,}001 + 0{,}001)} \approx 0{,}01528$$$$Z = \frac{0{,}12 - 0{,}15}{0{,}01528} \approx -1{,}963$$Çift yönlü p-değeri \(\approx 0{,}0496\) olur ve bu da yaklaşık %95 güven düzeyi anlamına gelir — yani sınırda anlamlı bir sonuç.
Sıkça Sorulan Sorular
Hangi güven düzeyini hedeflemeliyim? Sektör standardı %95'tir; bu da sonucun yanlış pozitif (false positive) olma olasılığının %5 olduğu anlamına gelir.
Örneklem büyüklüğü önemli mi? Evet. Küçük örneklemler, gerçek farklar için bile büyük p-değerleri üretir; her varyantın yeterli ziyaretçiye ulaşmasına kadar testi çalıştırmaya devam edin.
Neden çift yönlü test? Çift yönlü bir test, farkı her iki yönde de (B'nin A'dan daha iyi ya da daha kötü olması) tespit eder; bu da daha güvenli bir varsayılan seçimdir.
