A/B Testi Örneklem Büyüklüğü ve Güç Hesaplayıcı

A/B Testi Örneklem Büyüklüğü ve Güç Hesaplayıcı

Büyüyen AI Skill PRO

Hesaplamaya Girin

Formül

n=(z1−α/s2p‾(1−p‾)+z1−βp1(1−p1)+p2(1−p2))2(p2−p1)2n=\frac{\left(z_{1-{\alpha}/s}\sqrt{2\bar p(1-\bar p)}+z_{{1-\beta}}\sqrt{{p_1}(1-p_1)+p_2(1-p_2)}\right)^2}{\left({p_2-p_1}\right)^2}
Kullanım istatistikleri

Reklam

Sonuç

Bunlar örnek değerlerdir: kendi rakamlarınızla değiştirin.

Varyant başına gereken ziyaretçi
31.234
Tüm varyantlarda toplam ziyaretçi
62.468
Test süresi (gün)
32
Saptanacak varyant oranı
5,5%
Etki büyüklüğü
0,5 pp · 10%
Formülün varyant başına kesin değeri 31.233,44
Süreklilik düzeltmesiyle (Fleiss–Tytun–Ury) 31.633
Kontrolle karşılaştırma sayısı 1
Karşılaştırma başına kullanılan α 0,05
α için kritik z değeri 1,9600
Güç için z 0,8416

Testi anlamlı göründüğü ilk anda durdurmayın.

Bu sonuçlar sabit süreli bir test varsayar: örneklem büyüklüğünü önceden seçer, sonunda tek bir kez analiz edersiniz.

%5 düzeyindeki çift yönlü bir testi 5 eşit partinin her birinden sonra kontrol edip ilk p < 0,05 görüldüğünde durdurmak, gerçek yanlış pozitif oranını yaklaşık %14'e çıkarır; 10 kontrolde yaklaşık %19, 20 kontrolde yaklaşık %25 olur.

Sürekli izlemeniz gerekiyorsa alfa harcama fonksiyonlu O'Brien–Fleming sınırları ya da her zaman geçerli mSPRT gibi ardışık bir tasarım kullanın.

Bu sayfadaki bir hatayı bildir

Bu hesaplayıcı ne yapar

Her dönüşüm oranı deneyindeki üç soruyu yanıtlar. Test planla, seçtiğiniz artışı saptamak için her varyantın kaç ziyaretçiye ihtiyaç duyduğunu ve trafiğinizle bunun kaç gün süreceğini söyler. Sabit örneklem tersini yapar: elinizdeki ziyaretçi sayısıyla etkinizi saptama gücünü ve hedef güçte saptanabilen en küçük etkiyi verir. Sonuçları analiz et, A ve B'nin dönüşüm ve ziyaretçi sayılarından gözlenen artışı, iki oran z testinin p değerini ve güven aralığını ve B'nin A'yı geçme Bayes olasılığını hesaplar; hepsi rastgele simülasyon olmadan, kesin olarak.

Sayfa örnek değerlerle açılır: mevcut oran %5, göreli MDE %10, çift yönlü α = %5 ve güç %80. Bunları kendi rakamlarınızla değiştirin.

Örneklem büyüklüğü formülü

Dönüşüm oranları \( p_1 \) (kontrol) ve \( p_2 \) (varyant) olan eşit büyüklükte iki grup için grup başına gereken ziyaretçi sayısı

$$ n = \frac{\left( z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} + z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)} \right)^2}{(p_2-p_1)^2}, \qquad \bar p = \frac{p_1+p_2}{2} $$

olur. Çift yönlü testte \( s = 2 \), tek yönlü testte \( s = 1 \)'dir; \( z \) standart normal dağılımın yüzdelik değeridir. Bu, Fleiss, Levin ve Paik'in Statistical Methods for Rates and Proportions (3. baskı, 2003) kitabındaki 4.14 numaralı denklemdir: sıfır hipotezi altındaki standart sapma birleştirilmiş oran \( \bar p \) ile, alternatif altındaki ise her oranla ayrı ayrı hesaplanır. Sonunda yapacağınız birleştirilmiş z testiyle aynı normal yaklaşımdır; bu yüzden plan ve analiz uyumludur. Sonuç yukarı yuvarlanır.

Tabloda ayrıca Fleiss, Tytun ve Ury (1980) süreklilik düzeltmeli büyüklük de verilir: \( n_{cc} = \frac{n}{4}\left(1+\sqrt{1+\frac{4}{n\,|p_2-p_1|} }\right)^2 \). Ders kitabı tabloları genellikle bu daha büyük, daha ihtiyatlı değeri basar.

Anlamlılık düzeyi alfa, II. tip hata beta, güç 1−β ve p1 ile p2 arasındaki farkı gösteren iki örtüşen normal eğri
Örneklem büyüklüğü, kritik değerin yanlış pozitifleri α düzeyinde tutması ve gerçek etkiyi (p2 − p1) yine de 1 − β olasılıkla yakalaması için seçilir.

Kontrol edebileceğiniz örnekler

Fleiss, Levin ve Paik, sayfa 74: \( p_1 = 0{,}60 \), \( p_2 = 0{,}70 \), çift yönlü α = %1, güç %95. Formül 807,07 verir, yani grup başına 808; süreklilik düzeltmesiyle kitapta yazan 827. Güç %75 olduğunda 479,6 (480), düzeltmeyle 499,4 çıkar; kitapta 499 yazar, hesaplayıcı yukarı yuvarlayarak 500 gösterir. Burada tekrarlamak için mutlak etki türünü seçip mevcut oranı 60, etkiyi 10 girin.

Ryan (2013), NCSS PASS kılavuzunda doğrulanmış örnek: tek yönlü α = %5, güç %80, %55'e karşı %65 → 295,7, yani grup başına 296.

Varsayılan örnek: %5 mevcut oran ve %10 göreli artış, %5,5'i %5'ten ayırt etmek demektir. Çift yönlü α = %5 ve %80 güçle varyant başına 31.234, toplam 62.468 ziyaretçi gerekir; günde 2.000 ziyaretçiyle 32 gün sürer.

Göreli mi, mutlak mı MDE

%5 tabanda %10 göreli etki %5,5 demektir (\( p_2 = p_1(1+\text{MDE}) \)). 1 yüzde puanlık mutlak etki %6 demektir (\( p_2 = p_1 + \text{MDE} \)). Etkiyi yarıya indirmek örneklemi yaklaşık dört katına çıkarır, çünkü \( n \), \( 1/(p_2-p_1)^2 \) ile büyür. Düşük taban oranlar pahalıdır: aynı göreli artış %1 oranda, %5 orandakinin yaklaşık beş katı ziyaretçi ister.

Reklam
Saptanabilir minimum etki arttıkça gereken örneklem büyüklüğünün keskin biçimde düştüğünü gösteren eğri
Saptanabilir minimum etkiyi yarıya indirmek, varyant başına gereken ziyaretçi sayısını yaklaşık dört katına çıkarır; çünkü n, 1/(p2 − p1)² ile orantılıdır.

Birden çok varyant ve Bonferroni düzeltmesi

Kontrol dahil \( k \) varyant varsa \( k-1 \) rakibin her biri kontrolle karşılaştırılır ve her gruba aynı \( n \) verilir; toplam \( k \cdot n \) olur. Her ek karşılaştırma, yanlış bir kazanan seçme şansını artırır. Bonferroni düzeltmesi (Dunn, 1961) her karşılaştırmayı \( \alpha/(k-1) \) düzeyinde test eder ve en az bir yanlış pozitif olasılığını \( \alpha \) veya altında tutar. İhtiyatlı bir yöntemdir ve tüm grupların \( n \) değerini büyütür.

Sabit örneklemde güç ve MDE

Aynı denklemi güç için çözünce:

$$ 1-\beta = \Phi\!\left( \frac{|p_2-p_1|\sqrt{n} - z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} }{\sqrt{p_1(1-p_1)+p_2(1-p_2)} } \right) $$

Hesaplayıcı bunu etkiniz için hesaplar, ardından hedef güce ulaşan en küçük artışı arar. Trafik sabitse bu modu kullanın; örneğin sonuç ne olursa olsun iki hafta süren bir kampanya: saptanabilen artış her gerçekçi değişimden çok büyükse test size pek bir şey söylemez.

Sonuçları okumak: p değeri ve güven aralığı

\( n_A \) ziyaretçide \( x_A \), \( n_B \) ziyaretçide \( x_B \) dönüşüm varsa birleştirilmiş z istatistiği \( z = (\hat p_B-\hat p_A)/\sqrt{\hat p(1-\hat p)(1/n_A+1/n_B)} \) olur; burada \( \hat p = (x_A+x_B)/(n_A+n_B) \). Çift yönlü p değeri \( 2(1-\Phi(|z|)) \), B'nin daha iyi olduğu hipotezi için tek yönlü p değeri \( 1-\Phi(z) \) olur. Farkın güven aralığı birleştirilmemiş standart hatayı kullanır: \( (\hat p_B-\hat p_A) \pm z_{1-\alpha/2}\sqrt{\hat p_A(1-\hat p_A)/n_A+\hat p_B(1-\hat p_B)/n_B} \). Örnek: 10.000'de 500'e karşı 10.000'de 560, z = 1,894 ve p = 0,0583 verir; yani gözlenen %12 artış %5 düzeyinde anlamlı değildir ve B − A için %95 aralık −0,02 ile +1,22 yüzde puan arasındadır.

B'nin A'yı geçme Bayes olasılığı

Tekdüze Beta(1, 1) önseliyle, \( n \) ziyaretçide \( x \) dönüşümden sonra dönüşüm oranının sonsal dağılımı Beta(\( 1+x \), \( 1+n-x \)) olur (Gelman ve ark., Bayesian Data Analysis, 3. baskı, 2. bölüm). Parametreler tam sayı olduğundan B'nin oranının daha yüksek olma olasılığı kesin bir sonlu toplamla yazılır:

$$ P(p_B>p_A) = \sum_{i=0}^{\alpha_B-1} \frac{B(\alpha_A+i,\ \beta_A+\beta_B)}{(\beta_B+i)\,B(1+i,\ \beta_B)\,B(\alpha_A,\ \beta_A)} $$

Burada \( \alpha = 1+x \), \( \beta = 1+n-x \) ve \( B \) beta fonksiyonudur; türetme Evan Miller'a aittir. Hesaplayıcı bunu logaritmik ölçekte hesaplar; rastgele çekilişlere bağlı değildir ve her seferinde aynı sonucu verir. B'yi yayına almanın beklenen kaybı, \( E[\max(p_A-p_B, 0)] \), kaydırılmış parametrelerle aynı toplamdan gelir: B aslında daha kötüyse kaybetmeyi beklemeniz gereken dönüşüm oranıdır. Yukarıdaki örnekte P(B > A) = %97,08 ve B'yi yayına almanın beklenen kaybı 0,0036 yüzde puandır. "%97 olasılıkla daha iyi" ile "%5 düzeyinde anlamlı değil" farklı soruları yanıtlar; hiçbiri testi erken durdurma izni değildir.

Erken bakmak sabit süreli testi neden bozar

Yukarıdaki örneklem büyüklüğü verilere yalnızca bir kez, sonda bakılacağını varsayar. Her partiden sonra bakıp ilk p < 0,05'te durursanız her bakış yeni bir yanlış pozitif şansıdır. Bu etkiyi ilk kez Armitage, McPherson ve Rowe (1969) ölçtü. Aşağıdakiler, test istatistiklerinin ortak normal dağılımının kesin sayısal integrasyonuyla hesapladığımız değerlerdir (çift yönlü %5 test, eşit aralıklı bakışlar, gerçek fark yok):

Verilere bakma sayısı Yanlış kazanan olasılığı
1 %5,0
2 %8,3
3 %10,7
5 %14,2
10 %19,3
20 %24,8

Test sürerken izlemeniz gerekiyorsa bunun için tasarlanmış bir yöntem kullanın. O'Brien ve Fleming (1979) gibi grup ardışık sınırlar ilk bakışlarda çok az α harcar ve toplam yanlış pozitif oranını α'da tutar. Lan ve DeMets'in (1983) alfa harcama yaklaşımı, önceden belirlenmemiş zamanlarda bakmaya izin verir. Karışım ardışık olasılık oranı testiyle (mSPRT; Johari, Koomen, Pekelis ve Walsh) her zaman geçerli çıkarım, istediğiniz an kontrol edebileceğiniz p değerleri verir. Bunun karşılığında hepsi sabit süreli bir testten daha büyük bir azami örneklem gerektirir.

Reklam
Testin planlanan bitişinden önce anlamlılık eşiğinin altına birkaç kez düşen, zamana göre p-değeri çizgisi
Planlanan örnekleme ulaşmadan sonuçlara tekrar tekrar bakmak, dalgalı p-değerine α'yı geçmek için birçok fırsat verir ve yanlış pozitifler artar.

Varsayımlar ve sınırlar

Formüller bağımsız ziyaretçiler, test boyunca sabit bir dönüşüm oranı ve adil bir rastgele dağıtım varsayar. Haftanın günü etkilerini kapsamak için testi tam haftalar boyunca çalıştırın, trafik dağılımının plana uyduğunu kontrol edin ve her ziyaretçiyi bir kez sayın. Çok küçük örneklemlerde veya %0 ya da %100'e yakın oranlarda normal yaklaşım kabadır; orada kesin bir test daha güvenlidir.

İlgili araçlar

Testiniz bitti mi? A/B test anlamlılık hesaplayıcı, iki dönüşüm oranı arasındaki farkın istatistiksel olarak anlamlı olup olmadığını Z puanı ve p değeriyle kontrol eder.

Anket mi yapacaksınız? Örneklem büyüklüğü hesaplama aracı, belirli bir güven düzeyi ve hata payı için kaç yanıt toplamanız gerektiğini hesaplar.

Kaynaklar ve referanslar

Son güncelleme:

Matematik ve İstatistik kategorisinde en popüler

Tüm Matematik ve İstatistik hesap makinelerini gör