A/B 測試樣本數與檢定力計算器

A/B 測試樣本數與檢定力計算器

新興 AI Skill PRO

輸入計算

數學公式

n=(z1−α/s2p‾(1−p‾)+z1−βp1(1−p1)+p2(1−p2))2(p2−p1)2n=\frac{\left(z_{1-{\alpha}/s}\sqrt{2\bar p(1-\bar p)}+z_{{1-\beta}}\sqrt{{p_1}(1-p_1)+p_2(1-p_2)}\right)^2}{\left({p_2-p_1}\right)^2}
使用統計

廣告

結果

以下為範例數據,請換成你自己的數字。

每個版本所需訪客數
31,234
所有版本的總訪客數
62,468
測試時長(天)
32
需偵測的實驗組轉換率
5.5%
效果大小
0.5 pp · 10%
公式精確值(每個版本) 31,233.44
連續性校正後(Fleiss–Tytun–Ury) 31,633
與對照組的比較次數 1
每次比較使用的 α 0.05
α 對應的臨界值 z 1.9600
檢定力對應的 z 0.8416

不要在結果第一次看起來顯著時就停止測試。

這些數字假設測試期限固定:先決定樣本數,測試結束時只分析一次。

對一個 5% 雙尾檢定,每完成 5 個等量批次中的一批就檢查一次,並在第一次出現 p < 0.05 時停止,實際偽陽性率約為 14%;檢查 10 次約為 19%,檢查 20 次約為 25%。

若需要持續監控,請採用序貫設計,例如搭配 α 消耗函數的 O'Brien–Fleming 邊界,或始終有效的 mSPRT。

回報本頁錯誤

這個計算器能做什麼

它回答每個轉換率實驗都會遇到的三個問題。規劃測試告訴你:要偵測到設定的提升,每個版本需要多少訪客,以目前流量需要幾天。樣本數固定則反過來:針對已有的訪客數,給出偵測你設定效果的檢定力,以及在目標檢定力下能偵測到的最小效果。分析結果依 A、B 的轉換數與訪客數,算出觀察到的提升、兩比例 z 檢定的 p 值與信賴區間,以及 B 優於 A 的貝氏機率,全部精確計算,不使用隨機模擬。

頁面預設帶入範例數據:目前轉換率 5%、相對 MDE 10%、雙尾 α = 5%、檢定力 80%。請換成你自己的數字。

樣本數公式

兩組樣本數相同、轉換率分別為 \( p_1 \)(對照組)與 \( p_2 \)(實驗組)時,每組所需訪客數為

$$ n = \frac{\left( z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} + z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)} \right)^2}{(p_2-p_1)^2}, \qquad \bar p = \frac{p_1+p_2}{2} $$

其中雙尾檢定 \( s = 2 \),單尾檢定 \( s = 1 \),\( z \) 為標準常態分布的分位數。這是 Fleiss、Levin 與 Paik《Statistical Methods for Rates and Proportions》(第 3 版,2003)的公式 4.14:虛無假設下的標準差使用合併比例 \( \bar p \),對立假設下則分別使用兩組比例。它與最後進行的合併 z 檢定採用相同的常態近似,因此規劃與分析一致。結果無條件進位為整數。

表格也列出 Fleiss、Tytun 與 Ury(1980)的連續性校正樣本數 \( n_{cc} = \frac{n}{4}\left(1+\sqrt{1+\frac{4}{n\,|p_2-p_1|} }\right)^2 \)。教科書查表值常是這個較大、較保守的數字。

兩條相互重疊的常態曲線,標示顯著水準 α、第二型錯誤 β、檢定力 1−β,以及 p1 與 p2 之間的差距
樣本數的選擇要讓臨界值將偽陽性控制在 α,同時仍能以 1 − β 的機率偵測到真實效果 p2 − p1。

可以自行核對的例子

Fleiss、Levin 與 Paik,第 74 頁:\( p_1 = 0.60 \),\( p_2 = 0.70 \),雙尾 α = 1%,檢定力 95%。公式結果為 807.07,即每組 808 人;連續性校正後為 827 人,與書中數字相同。檢定力 75% 時為 479.6(480)人,校正後為 499.4 人:書中印為 499,本工具無條件進位為 500。要在本工具重現,請選擇「絕對變化」,目前轉換率填 60,效果填 10。

Ryan(2013),見 NCSS PASS 手冊的驗證範例:單尾 α = 5%,檢定力 80%,55% 對 65% → 295.7,即每組 296 人。

預設範例:目前轉換率 5%、相對提升 10%,就是要區分 5.5% 與 5%。雙尾 α = 5%、檢定力 80% 時,每個版本需要 31,234 名訪客,總計 62,468 名;以每天 2,000 名訪客計需 32 天。

相對 MDE 或絕對 MDE

在 5% 的基礎上相對提升 10% 代表 5.5%(\( p_2 = p_1(1+\text{MDE}) \));絕對提升 1 個百分點代表 6%(\( p_2 = p_1 + \text{MDE} \))。由於 \( n \) 與 \( 1/(p_2-p_1)^2 \) 成正比,效果減半時樣本數約變為四倍。基礎轉換率越低,成本越高:同樣的相對提升,1% 轉換率所需訪客約為 5% 轉換率的五倍。

廣告
曲線顯示隨著最小可偵測效果增加,所需樣本數急遽下降
將最小可偵測效果減半,每個變體所需的訪客數大約會變成四倍,因為 n 與 1/(p2 − p1)² 成正比。

多個版本與 Bonferroni 校正

含對照組共有 \( k \) 個版本時,\( k-1 \) 個實驗組分別與對照組比較,每組分配相同的 \( n \),總量為 \( k \cdot n \)。每多一次比較,就多一次誤判「勝出者」的機會。Bonferroni 校正(Dunn,1961)以 \( \alpha/(k-1) \) 檢定每次比較,使至少出現一次偽陽性的機率不超過 \( \alpha \)。此法較保守,會讓每組的 \( n \) 都變大。

樣本數固定時的檢定力與 MDE

將同一方程式對檢定力求解,可得:

$$ 1-\beta = \Phi\!\left( \frac{|p_2-p_1|\sqrt{n} - z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} }{\sqrt{p_1(1-p_1)+p_2(1-p_2)} } \right) $$

計算器先就你設定的效果求出檢定力,再搜尋在目標檢定力下可偵測的最小提升。流量已固定時使用此模式,例如不論結果都只跑兩週的活動:若可偵測的提升遠大於任何實際可能的變化,這個測試就難以提供有用的資訊。

解讀結果:p 值與信賴區間

若 A 組 \( n_A \) 名訪客中有 \( x_A \) 次轉換,B 組 \( n_B \) 名中有 \( x_B \) 次,合併 z 統計量為 \( z = (\hat p_B-\hat p_A)/\sqrt{\hat p(1-\hat p)(1/n_A+1/n_B)} \),其中 \( \hat p = (x_A+x_B)/(n_A+n_B) \)。雙尾 p 值為 \( 2(1-\Phi(|z|)) \);檢定「B 較好」的單尾 p 值為 \( 1-\Phi(z) \)。差值的信賴區間使用未合併的標準誤:\( (\hat p_B-\hat p_A) \pm z_{1-\alpha/2}\sqrt{\hat p_A(1-\hat p_A)/n_A+\hat p_B(1-\hat p_B)/n_B} \)。例如:10,000 名中 500 次對 10,000 名中 560 次,得到 z = 1.894、p = 0.0583,因此觀察到的 12% 提升在 5% 水準下不顯著,B − A 的 95% 信賴區間為 −0.02 至 +1.22 個百分點。

B 優於 A 的貝氏機率

採用均勻先驗 Beta(1, 1) 時,\( n \) 名訪客中有 \( x \) 次轉換後,轉換率的後驗分布為 Beta(\( 1+x \), \( 1+n-x \))(Gelman 等,《Bayesian Data Analysis》第 3 版,第 2 章)。由於參數皆為整數,B 的轉換率較高的機率可寫成精確的有限和:

$$ P(p_B>p_A) = \sum_{i=0}^{\alpha_B-1} \frac{B(\alpha_A+i,\ \beta_A+\beta_B)}{(\beta_B+i)\,B(1+i,\ \beta_B)\,B(\alpha_A,\ \beta_A)} $$

其中 \( \alpha = 1+x \)、\( \beta = 1+n-x \),\( B \) 為貝塔函數,推導見 Evan Miller。計算器在對數空間中加總,不依賴隨機抽樣,每次結果都相同。選擇 B 的期望損失 \( E[\max(p_A-p_B, 0)] \) 由參數平移後的同一加總求得:代表若 B 其實較差,你預期會損失的轉換率。上例中 P(B > A) = 97.08%,選擇 B 的期望損失為 0.0036 個百分點。「97% 機率較好」與「在 5% 水準下不顯著」回答的是不同的問題,兩者都不代表可以提前停止測試。

為什麼中途偷看會破壞固定期限測試

上述樣本數假設你只在結束時看一次資料。若每批資料後都查看,並在第一次出現 p < 0.05 時停止,每次查看都會多一次偽陽性的機會。Armitage、McPherson 與 Rowe(1969)最早量化了這個效應。下表是我們對檢定統計量的聯合常態分布做精確數值積分所得(5% 雙尾檢定、等間隔查看、實際無差異):

查看資料的次數 誤判勝出者的機率
1 5.0%
2 8.3%
3 10.7%
5 14.2%
10 19.3%
20 24.8%

若需要在測試進行中監控,請使用為此設計的方法。O'Brien 與 Fleming(1979)等群組序貫邊界在早期查看時只消耗極少的 α,讓整體偽陽性率維持在 α。Lan 與 DeMets(1983)的 α 消耗函數允許在事先未決定的時間點查看。以混合序貫機率比檢定(mSPRT;Johari、Koomen、Pekelis、Walsh)進行的始終有效推論,任何時刻查看的 p 值都有效。代價是它們都需要比固定期限測試更大的最大樣本數。

廣告
p 值隨時間變化的路徑,在測試預定結束前多次跌破顯著性門檻
在達到預定樣本數之前反覆查看結果,會讓波動的 p 值有許多機會越過 α,導致偽陽性增加。

假設與限制

這些公式假設訪客彼此獨立、測試期間轉換率穩定、隨機分流公平。請以整週為單位執行以涵蓋星期效應,確認流量分配符合規劃,且每位訪客只計一次。樣本很小或轉換率接近 0% 或 100% 時,常態近似較粗略,此時改用精確檢定較安全。

相關工具

測試已經結束?A/B 測試顯著性計算機會以 Z 值和 p 值檢定兩個轉換率的差異是否具有統計顯著性。

要做問卷調查?樣本數計算器可依信賴水準與誤差範圍算出需要回收多少份問卷。

資料來源與參考

最後更新:

數學和統計熱門計算器

查看全部數學和統計計算器