Что такое калькулятор значимости A/B-теста?
Этот инструмент показывает, является ли разница между двумя вариантами в A/B-тесте статистически значимой или же она могла возникнуть просто из-за случайности. В основе расчёта лежит z-тест для двух долей — стандартный метод сравнения коэффициентов конверсии между контрольным вариантом (A) и тестовым (B).
Как пользоваться калькулятором
Введите количество конверсий и общее число посетителей для каждого варианта. Калькулятор вернёт z-оценку, двустороннее p-значение и уровень доверия. Доверие в 95% и выше (p-значение ≤ 0,05) — это общепринятый порог, при котором можно объявлять победителя.
Разбор формулы
Сначала вычисляется объединённая доля: \(\bar{p} = \dfrac{x_1 + x_2}{n_1 + n_2}\). Стандартная ошибка равна \(\sqrt{\bar{p}(1-\bar{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}\). Z-оценка — это разница между двумя наблюдаемыми долями, делённая на стандартную ошибку:
$$Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\bar{p}\,(1-\bar{p})\left(\dfrac{1}{n_1}+\dfrac{1}{n_2}\right)}}$$P-значение выводится из стандартного нормального распределения (двусторонний тест), а уровень доверия равен \((1 - p\text{-значение}) \times 100\%\).
Пример расчёта
Вариант A: 120 конверсий из 1000 (12%). Вариант B: 150 из 1000 (15%). Объединённая доля \(\bar{p} = 270/2000 = 0{,}135\).
$$\text{SE} = \sqrt{0{,}135 \times 0{,}865 \times (0{,}001 + 0{,}001)} \approx 0{,}01528$$$$Z = \frac{0{,}12 - 0{,}15}{0{,}01528} \approx -1{,}963$$Двустороннее p-значение ≈ 0,0496, что даёт около 95% доверия — результат на грани значимости.
Частые вопросы
На какой уровень доверия ориентироваться? 95% — это отраслевой стандарт, означающий 5%-ную вероятность того, что результат окажется ложноположительным.
Важен ли размер выборки? Да. На малых выборках даже реальные различия дают большие p-значения; дайте тесту поработать, пока каждый вариант не наберёт достаточно посетителей.
Почему тест двусторонний? Двусторонний тест улавливает различие в любую сторону (B лучше или хуже A), и это более безопасный вариант по умолчанию.
