A/B 测试样本量与统计功效计算器

A/B 测试样本量与统计功效计算器

新兴 AI Skill PRO

输入计算

数学公式

n=(z1−α/s2p‾(1−p‾)+z1−βp1(1−p1)+p2(1−p2))2(p2−p1)2n=\frac{\left(z_{1-{\alpha}/s}\sqrt{2\bar p(1-\bar p)}+z_{{1-\beta}}\sqrt{{p_1}(1-p_1)+p_2(1-p_2)}\right)^2}{\left({p_2-p_1}\right)^2}
使用统计

广告

结果

以下为示例数据,请换成你自己的数字。

每个版本所需访客数
31,234
所有版本的总访客数
62,468
测试时长(天)
32
需检测的实验组转化率
5.5%
效应大小
0.5 pp · 10%
公式精确值(每个版本) 31,233.44
连续性校正后(Fleiss–Tytun–Ury) 31,633
与对照组的比较次数 1
每次比较使用的 α 0.05
α 对应的临界值 z 1.9600
功效对应的 z 0.8416

不要在结果第一次看起来显著时就停止测试。

这些数字假设测试期限固定:先确定样本量,测试结束时只分析一次。

对一个 5% 双侧检验,每完成 5 个等量批次中的一批就查看一次,并在第一次出现 p < 0.05 时停止,实际假阳性率约为 14%;查看 10 次约为 19%,查看 20 次约为 25%。

如需持续监控,请采用序贯设计,例如带 α 消耗函数的 O'Brien–Fleming 边界,或始终有效的 mSPRT。

报告本页错误

这个计算器能做什么

它回答每个转化率实验都会遇到的三个问题。规划测试告诉你:要检测到设定的提升,每个版本需要多少访客,按当前流量需要多少天。样本量固定则反过来:对于已有的访客数,给出检测你设定效应的统计功效,以及在目标功效下能检测到的最小效应。分析结果根据 A、B 的转化数和访客数,给出观测到的提升、两比例 z 检验的 p 值和置信区间,以及 B 优于 A 的贝叶斯概率,全部精确计算,不使用随机模拟。

页面默认填入示例数据:当前转化率 5%、相对 MDE 10%、双侧 α = 5%、统计功效 80%。请换成你自己的数字。

样本量公式

对于样本量相同、转化率分别为 \( p_1 \)(对照组)和 \( p_2 \)(实验组)的两组,每组所需访客数为

$$ n = \frac{\left( z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} + z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)} \right)^2}{(p_2-p_1)^2}, \qquad \bar p = \frac{p_1+p_2}{2} $$

其中双侧检验 \( s = 2 \),单侧检验 \( s = 1 \),\( z \) 为标准正态分布的分位数。这是 Fleiss、Levin 和 Paik《Statistical Methods for Rates and Proportions》(第 3 版,2003)中的公式 4.14:原假设下的标准差使用合并比例 \( \bar p \),备择假设下分别使用两组的比例。它与最后进行的合并 z 检验采用同一正态近似,因此规划与分析保持一致。结果向上取整。

表格中还给出 Fleiss、Tytun 和 Ury(1980)的连续性校正样本量 \( n_{cc} = \frac{n}{4}\left(1+\sqrt{1+\frac{4}{n\,|p_2-p_1|} }\right)^2 \)。教科书中的查表值往往就是这个更大、更保守的数字。

两条相互重叠的正态曲线,标示显著性水平 α、第二类错误 β、检验效能 1−β 以及 p1 与 p2 之间的差距
样本量的选择要使临界值将假阳性控制在 α,同时仍能以 1 − β 的概率检测出真实效应 p2 − p1。

可以自行核对的例子

Fleiss、Levin 和 Paik,第 74 页:\( p_1 = 0.60 \),\( p_2 = 0.70 \),双侧 α = 1%,统计功效 95%。公式结果为 807.07,即每组 808 人;连续性校正后为 827 人,与书中数字一致。功效为 75% 时得到 479.6(480)人,校正后为 499.4 人:书中印为 499,本工具向上取整为 500。要在本工具中复现,请选择“绝对变化”,当前转化率填 60,效应填 10。

Ryan(2013),见 NCSS PASS 手册的验证示例:单侧 α = 5%,功效 80%,55% 对 65% → 295.7,即每组 296 人。

默认示例:当前转化率 5%、相对提升 10%,即要区分 5.5% 与 5%。双侧 α = 5%、功效 80% 时,每个版本需要 31,234 名访客,总计 62,468 名;按每天 2,000 名访客计算需要 32 天。

相对 MDE 还是绝对 MDE

在 5% 基础上相对提升 10% 意味着 5.5%(\( p_2 = p_1(1+\text{MDE}) \));绝对提升 1 个百分点意味着 6%(\( p_2 = p_1 + \text{MDE} \))。由于 \( n \) 与 \( 1/(p_2-p_1)^2 \) 成正比,效应减半,样本量大约变为四倍。基础转化率越低,成本越高:同样的相对提升,1% 的转化率所需访客约为 5% 转化率的五倍。

广告
曲线显示随着最小可检测效应增大,所需样本量急剧下降
将最小可检测效应减半,每个变体所需的访客数大约会增加到四倍,因为 n 与 1/(p2 − p1)² 成正比。

多个版本与 Bonferroni 校正

包含对照组共有 \( k \) 个版本时,\( k-1 \) 个实验组分别与对照组比较,每组分配相同的 \( n \),总量为 \( k \cdot n \)。每多一次比较,就多一次误判“胜出者”的机会。Bonferroni 校正(Dunn,1961)以 \( \alpha/(k-1) \) 检验每次比较,使至少出现一个假阳性的概率不超过 \( \alpha \)。这种方法偏保守,会使每组的 \( n \) 都变大。

样本量固定时的统计功效与 MDE

把同一方程对功效求解,得到:

$$ 1-\beta = \Phi\!\left( \frac{|p_2-p_1|\sqrt{n} - z_{1-\alpha/s}\sqrt{2\bar p(1-\bar p)} }{\sqrt{p_1(1-p_1)+p_2(1-p_2)} } \right) $$

计算器先对你设定的效应求出功效,再搜索在目标功效下可检测的最小提升。流量已经固定时使用此模式,例如不论结果如何都只运行两周的活动:如果可检测的提升远大于任何现实的变化,这个测试就很难告诉你有用的信息。

解读结果:p 值与置信区间

若 A 组 \( n_A \) 名访客中有 \( x_A \) 次转化,B 组 \( n_B \) 名中有 \( x_B \) 次,合并 z 统计量为 \( z = (\hat p_B-\hat p_A)/\sqrt{\hat p(1-\hat p)(1/n_A+1/n_B)} \),其中 \( \hat p = (x_A+x_B)/(n_A+n_B) \)。双侧 p 值为 \( 2(1-\Phi(|z|)) \);检验“B 更好”的单侧 p 值为 \( 1-\Phi(z) \)。差值的置信区间使用非合并标准误:\( (\hat p_B-\hat p_A) \pm z_{1-\alpha/2}\sqrt{\hat p_A(1-\hat p_A)/n_A+\hat p_B(1-\hat p_B)/n_B} \)。例如:10,000 名中 500 次对 10,000 名中 560 次,得到 z = 1.894,p = 0.0583,因此观测到的 12% 提升在 5% 水平下不显著,B − A 的 95% 置信区间为 −0.02 至 +1.22 个百分点。

B 优于 A 的贝叶斯概率

采用均匀先验 Beta(1, 1) 时,\( n \) 名访客中有 \( x \) 次转化后,转化率的后验分布为 Beta(\( 1+x \), \( 1+n-x \))(Gelman 等,《Bayesian Data Analysis》第 3 版,第 2 章)。由于参数都是整数,B 的转化率更高的概率可以写成精确的有限和:

$$ P(p_B>p_A) = \sum_{i=0}^{\alpha_B-1} \frac{B(\alpha_A+i,\ \beta_A+\beta_B)}{(\beta_B+i)\,B(1+i,\ \beta_B)\,B(\alpha_A,\ \beta_A)} $$

其中 \( \alpha = 1+x \),\( \beta = 1+n-x \),\( B \) 为贝塔函数,推导见 Evan Miller。计算器在对数空间中求和,不依赖随机抽样,每次结果都相同。选择 B 的期望损失 \( E[\max(p_A-p_B, 0)] \) 由参数平移后的同一求和得到:它表示如果 B 实际上更差,你预计会损失的转化率。上例中 P(B > A) = 97.08%,选择 B 的期望损失为 0.0036 个百分点。“97% 的概率更好”和“在 5% 水平下不显著”回答的是不同问题,二者都不意味着可以提前停止测试。

为什么中途偷看会破坏固定期限测试

上面的样本量假设你只在结束时看一次数据。如果每批数据后都查看,并在第一次出现 p < 0.05 时停止,每次查看都会增加一次假阳性的机会。Armitage、McPherson 和 Rowe(1969)最早量化了这一效应。下表是我们对检验统计量的联合正态分布做精确数值积分得到的结果(5% 双侧检验,等间隔查看,实际无差异):

查看数据的次数 误判胜出者的概率
1 5.0%
2 8.3%
3 10.7%
5 14.2%
10 19.3%
20 24.8%

如果需要在测试进行中监控,请使用为此设计的方法。O'Brien 和 Fleming(1979)等成组序贯边界在早期查看时只消耗极少的 α,使总体假阳性率保持在 α。Lan 和 DeMets(1983)的 α 消耗函数允许在事先未确定的时间点查看。基于混合序贯概率比检验(mSPRT;Johari、Koomen、Pekelis、Walsh)的始终有效推断,任何时刻查看的 p 值都有效。作为代价,它们都需要比固定期限测试更大的最大样本量。

广告
p 值随时间变化的路径,在测试计划结束前多次跌破显著性阈值
在达到计划样本量之前反复查看结果,会让波动的 p 值有很多机会越过 α,从而导致假阳性增加。

假设与局限

这些公式假设访客相互独立、测试期间转化率稳定、随机分流公平。请按整周运行以覆盖星期效应,检查流量分配是否符合计划,并且每位访客只计一次。样本很小或转化率接近 0% 或 100% 时,正态近似较粗糙,此时更适合使用精确检验。

相关工具

测试已经结束?A/B 测试显著性计算器会用 Z 值和 p 值检验两个转化率之间的差异是否具有统计显著性。

要做问卷调查?样本量计算器可以根据置信水平和误差范围算出需要回收多少份问卷。

资料来源与参考

最后更新:

数学和统计热门计算器

查看全部数学和统计计算器