A/B 테스트 유의성 계산기란?
이 도구는 A/B 테스트에서 두 안(案) 사이의 차이가 통계적으로 의미 있는 것인지, 아니면 단순히 우연일 뿐인지를 판단해 줍니다. 대조군(A)과 실험군(B)의 전환율을 비교할 때 표준으로 쓰이는 '두 비율 z-검정(two-proportion z-test)' 방식을 사용합니다.
사용 방법
각 안에 대해 전환 수와 전체 방문자 수를 입력하면 됩니다. 계산기는 z값, 양측 p값, 그리고 신뢰수준을 보여줍니다. 보통 신뢰수준 95% 이상(p값 ≤ 0.05)을 '승자'를 선언하는 기준으로 삼습니다.
공식 풀어보기
먼저 통합 비율을 \(\hat{p} = (x_1 + x_2) / (n_1 + n_2)\)로 구합니다. 표준오차(SE)는 \(\sqrt{\hat{p}(1-\hat{p})(1/n_1 + 1/n_2)}\)입니다. z값은 관측된 두 전환율의 차이를 이 표준오차로 나눈 값으로, 다음과 같습니다.
$$Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\bar{p}\,(1-\bar{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}}$$
$$\text{where}\quad \left\{ \begin{aligned} \hat{p}_1 &= \dfrac{\text{Conversions A}}{\text{Visitors A}} \\ \hat{p}_2 &= \dfrac{\text{Conversions B}}{\text{Visitors B}} \\ \bar{p} &= \dfrac{\text{Conv. A} + \text{Conv. B}}{\text{Visitors A} + \text{Visitors B}} \end{aligned} \right.$$
p값은 표준정규분포(양측 기준)에서 도출되며, 신뢰수준은 \((1 - \text{p값}) \times 100\%\)로 계산됩니다.
실제 계산 예시
안 A: 방문자 1,000명 중 전환 120건(12%). 안 B: 1,000명 중 150건(15%). 통합 \(\hat{p} = 270/2000 = 0.135\). \(\text{SE} = \sqrt{0.135 \times 0.865 \times (0.001 + 0.001)} \approx 0.01528\). \(z = (0.12 - 0.15) / 0.01528 \approx -1.963\). 양측 p값 \(\approx 0.0496\)로, 신뢰수준은 약 95% — 즉 유의성 기준에 아슬아슬하게 걸치는 결과입니다.
자주 묻는 질문
신뢰수준은 어느 정도를 목표로 해야 하나요? 업계 표준은 95%입니다. 이는 결과가 거짓 양성(false positive)일 확률이 5%라는 의미입니다.
표본 크기가 중요한가요? 네. 표본이 작으면 실제로 차이가 있어도 p값이 크게 나옵니다. 각 안에 충분한 방문자가 모일 때까지 테스트를 계속 돌리는 것이 좋습니다.
왜 양측 검정인가요? 양측 검정은 어느 방향이든(B가 A보다 좋거나 나쁘거나) 차이를 모두 잡아낼 수 있어, 더 안전한 기본값으로 권장됩니다.
