ABテスト有意差計算ツールとは？
このツールは、ABテストにおける2つのパターンの差が統計的に意味のあるもの（有意差）なのか、それとも単なる偶然のばらつきなのかを判定します。コントロール（A）とバリアント（B）のコンバージョン率を比較する標準的な手法である「2標本の母比率の差のZ検定（two-proportion z-test）」を用いています。
使い方
各パターンのコンバージョン数と総訪問者数を入力するだけです。ツールがZスコア、両側P値、信頼度を算出します。信頼度95％以上（P値0.05以下）が、勝ちパターンと判断する一般的な目安とされています。
計算式の解説
まず、プール比率（共通の推定比率）を \(\bar{p} = (x_1 + x_2)/(n_1 + n_2)\) で求めます。標準誤差は \(\sqrt{\bar{p}(1-\bar{p})(1/n_1 + 1/n_2)}\) です。Zスコアは、観測された2つのコンバージョン率の差を、この標準誤差で割って求めます：
$$ Z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\bar{p}\,(1-\bar{p})\left(\frac{1}{n_1}+\frac{1}{n_2}\right)}} \\[1.5em] \text{where}\quad \left\{ \begin{aligned} \hat{p}_1 &= \dfrac{\text{Conversions A}}{\text{Visitors A}} \\ \hat{p}_2 &= \dfrac{\text{Conversions B}}{\text{Visitors B}} \\ \bar{p} &= \dfrac{\text{Conv. A} + \text{Conv. B}}{\text{Visitors A} + \text{Visitors B}} \end{aligned} \right. $$P値は標準正規分布（両側）から導かれ、信頼度は \((1 - \text{P値}) \times 100\%\) となります。
計算例
パターンA：訪問者1,000人のうちコンバージョン120件（12％）。パターンB：1,000人のうち150件（15％）。プール比率 \(\bar{p} = 270/2000 = 0.135\)。\(SE = \sqrt{0.135 \times 0.865 \times (0.001 + 0.001)} \approx 0.01528\)。\(z = (0.12 - 0.15)/0.01528 \approx -1.963\)。両側P値は約0.0496となり、信頼度はおよそ95％。有意差の境界線上にある結果と言えます。
よくある質問
信頼度はどのくらいを目指せばよい？ 95％が業界標準です。これは結果が偽陽性（実際には差がないのに差があると判断してしまう）である確率が5％であることを意味します。
サンプルサイズは重要？ はい、とても重要です。サンプルが少ないと、本当に差がある場合でもP値が大きくなってしまいます。各パターンに十分な訪問者が集まるまでテストを継続しましょう。
なぜ両側検定なのか？ 両側検定は、どちらの方向の差（BがAより良い場合も悪い場合も）も検出できます。これがより安全なデフォルト設定です。
