A/B 테스트 유의성 계산기 (Z검정·P값)

유의한가요?	Yes
안 A 전환율	10%
안 B 전환율	13%
상대 상승률 (B 대 A)	30%
관측 신뢰도	96.45%
임계 Z값 (기준값)	1.96

이 계산기는 무엇을 하나요

A/B 테스트 유의성 계산기는 두 전환율의 차이가 실제로 의미 있는 것인지, 아니면 단순한 우연(노이즈)에 불과한지를 판단해 줍니다. 대조군(안 A)과 도전군(안 B)의 방문자 수와 전환 수를 가지고 고전적인 두 비율 z검정을 수행하여 Z점수, 양측 p값, 상대 상승률, 그리고 선택한 신뢰수준에서의 "유의함 / 유의하지 않음" 판정을 명확하게 제공합니다.

방문자와 전환 수를 각각 보여주며 전환율을 비교한 두 버전 A와 B — A/B 테스트는 두 버전의 전환율을 비교해 차이가 실제인지 확인합니다.

사용 방법

각 안의 방문자 수와 전환 수를 입력한 다음 신뢰수준(90%, 95%, 99%)을 선택하세요. 가장 흔히 쓰이는 값은 95%이며, 이는 임계 Z값 $1.96$에 해당합니다. Z점수의 절댓값이 임계값 이상이면 결과는 통계적으로 유의한 것으로 표시됩니다.

공식 풀이

각 전환율은 $\hat{p} = \text{전환 수} / \text{방문자 수}$로 계산합니다. 검정에서는 두 표본을 하나의 비율 $$\hat{p} = \frac{c_A + c_B}{n_A + n_B}$$로 합쳐(pooled) 공통 표준오차를 추정합니다. Z점수는 관측된 전환율 차이를 이 표준오차로 나눈 값입니다.

$$z = \frac{\hat{p}_B - \hat{p}_A}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_A}+\frac{1}{n_B}\right)}}$$

Z의 절댓값이 클수록 그 차이가 우연으로 생겼을 가능성이 낮아집니다. 양측 p값은 표준정규분포에서 해당 Z점수보다 큰 상단 꼬리 면적의 두 배입니다.

Z 점수가 표시되고 p값 꼬리 영역이 음영 처리된 정규분포 종형 곡선 — Z 점수는 정규 곡선에서 결과의 위치를 나타내며, 음영 처리된 꼬리 면적이 p값입니다.

계산 예시

안 A: 방문자 1,000명, 전환 100건(10.0%). 안 B: 방문자 1,000명, 전환 130건(13.0%). 합산 비율은 $230/2000 = 0.115$, 표준오차는 $$\sqrt{0.115 \times 0.885 \times \left(\frac{1}{1000} + \frac{1}{1000}\right)} \approx 0.01427$$이므로 $Z \approx 0.03 / 0.01427 \approx 2.10$입니다. 95% 신뢰수준(임계 $Z = 1.96$)에서 이 결과는 통계적으로 유의하며, 양측 p값은 약 0.036입니다.

신뢰도 수준별 임계 Z값

양측 Z검정에서 관찰된 Z점수는 선택한 신뢰도 수준에 따라 결정되는 임계값과 비교됩니다. 신뢰도 수준은 $1-\alpha$이며, 여기서 $\alpha$는 유의성 임계값(거짓 양성의 최대 허용 확률)입니다. 절댓값 Z점수가 임계값을 초과하거나, 동등하게 p값이 $\alpha$ 아래일 때 결과가 유의하다고 선언됩니다.

신뢰도 수준	유의성 수준 $\alpha$	p값 임계값	양측 임계 Z
90%	0.10	< 0.10	1.645
95%	0.05	< 0.05	1.960
99%	0.01	< 0.01	2.576

이러한 임계값들은 표준 정규분포에서 나오며, 각각 양쪽 꼬리에 $\alpha/2$의 확률을 남깁니다. 95% 수준(임계 Z = 1.96)은 전환율 테스트에서 가장 일반적인 기본값입니다.

주요 용어 정의

전환율: 주어진 변형에서 목표 행동을 완료한 방문자의 비율, $p = \text{전환} / \text{방문자}$입니다.
귀무가설: 두 변형이 같은 실제 전환율을 가진다는 기본 가정, 즉 $p_A = p_B$이고 관찰된 차이는 무작위 확률 때문이라는 가정입니다.
결합 비율: 두 변형을 합친 전환율, $\bar{p} = (\text{conv}_A + \text{conv}_B)/(n_A + n_B)$이며, 귀무가설 하에서 분산을 추정하는 데 사용됩니다.
표준오차: 전환율 차이의 추정 표준편차, $\sqrt{\bar{p}(1-\bar{p})(1/n_A + 1/n_B)}$이며, 표본 크기가 커질수록 감소합니다.
Z점수: 전환율의 관찰된 차이를 표준오차 단위로 표현한 값입니다. 크기가 클수록 귀무가설 하에서 그 차이가 일어날 가능성이 낮습니다.
p값: 귀무가설이 참이라고 가정했을 때, 측정된 것만큼 극단적인 차이를 관찰할 확률입니다. p값이 작을수록 귀무가설에 대한 더 강한 증거를 제공합니다.
양측 검정: 양쪽 방향(B가 A보다 낫거나 악함)의 차이를 감지하는 검정으로, $\alpha$를 분포의 양쪽 꼬리에 분할합니다.
신뢰도 수준: $1-\alpha$이며, 결과가 유의하다고 판단하는 임계값(예: 95%)입니다. 실제 귀무가설이 잘못되게 기각되는 빈도를 설정합니다.
통계적 유의성: 관찰된 차이가 우연만으로 인한 것일 가능성이 낮다는 결론으로, p값이 $\alpha$ 아래로 떨어질 때 도달합니다.
상대적 상향: 변형 B의 변형 A 대비 백분율 변화, $(p_B - p_A)/p_A \times 100\%$로, 효과의 크기를 설명합니다.

결과 해석

유의한 결과는 p값이 선택한 $\alpha$ 아래(예: 95% 신뢰도에서 0.05 아래)라는 의미이므로, 변형 간 관찰된 차이는 귀무가설 하에서 우연으로 인한 것일 가능성이 낮습니다. 유의하지 않은 결과는 데이터가 실제 차이가 없다는 것과 일치한다는 의미이며, 변형이 같다는 것을 증명하지는 않고, 단지 그들을 구별할 충분한 증거가 부족하다는 의미일 뿐입니다.

계산 예: A에서 5,000명의 방문자와 250번의 전환($p_A = 0.05$)과 B에서 5,000명의 방문자와 300번의 전환($p_B = 0.06$)이 있을 때, 결합 비율은 $\bar p = 550/10000 = 0.055$입니다. 표준오차는 $\sqrt{0.055\times0.945\times(1/5000+1/5000)} \approx 0.004558$이고, $Z = (0.06-0.05)/0.004558 \approx$ 2.19입니다. 2.19 > 1.96이므로 결과는 95% 신뢰도에서 유의하며, 상대적 상향은 20%입니다.

이러한 통계가 정의되는 방식에서 여러 주의사항이 직접 따릅니다:

p값은 B가 A보다 나을 확률이 아닙니다. 이는 귀무가설이 참이라고 가정할 때 관찰된(또는 더 극단적인) 데이터의 확률입니다. 즉, 가설이 주어진 데이터에 대한 진술이 아니라 데이터가 주어진 가설에 대한 진술입니다.
유의성은 중요성과 같지 않습니다. 매우 큰 표본에서도 상업적으로 무의미한 작은 상향이 통계적으로 유의할 수 있습니다. 판정만 보지 말고 항상 상대적 상향과 그 실질적 가치를 읽으세요.
표본 크기가 민감도를 결정합니다. 작은 표본은 큰 표준오차를 생성하므로, 실제 효과가 유의하지 않은 것으로 보일 수 있고, 큰 표본은 더 작은 효과를 감지합니다. 테스트를 시작하기 전에 목표 표본 크기를 계획하고 첫 번째 유의한 수치에서 중단하지 마세요.
편견 조사와 다중 검정을 피하세요. 반복적으로 결과를 확인하고 p < 0.05에서 중단하면 거짓 양성률이 명목 $\alpha$ 위로 크게 증가합니다. 고정된 범위의 Z검정은 사전에 결정된 표본 크기에서 한 번만 평가한다고 가정합니다. 많은 변형 또는 메트릭을 테스트하면 마찬가지로 거짓 "승리"의 가능성을 곱하고 더 엄격한 임계값이 필요합니다.

이 도구는 비율에 대한 빈도주의적 양측 Z검정을 보고합니다. 이는 일반적인 통계 정보이며 이해관계가 큰 경우 맞춤형 실험 설계의 대체물이 아닙니다.