二項検定（正確確率検定）とは？
二項検定（正確確率検定）は、独立したYES/NO型の試行を一定回数おこなったときに観測された成功回数が、仮定した成功確率と矛盾しないかどうかを検証する手法です。正規近似とは異なり、二項分布から直接p値を計算するため、サンプル数が少ない場合でも正確な結果が得られます。本ツールは用途を選びません。コイン投げ、コンバージョン率、不良品の発生数、合否データなど、あらゆる二値（バイナリ）実験に利用できます。
この計算ツールの使い方
成功回数 k、試行回数の合計 n、そして仮定する成功確率 p（0〜1の範囲）を入力してください。計算ツールは、両側p値、観測された成功回数が得られる確率、期待される成功回数、さらに両方の片側p値を出力します。
計算式の解説
各結果 \(x\) が得られる確率は、$$P(X = x) = \binom{\text{n}}{x}\, \text{p}^{\,x}\,\bigl(1-\text{p}\bigr)^{\text{n}-x}$$ で表されます。両側p値は、実際に観測された結果と同じか、それより起こりにくいすべての結果（\(P(x) \le P(k)\)）の確率を合計したものです。$$p\text{-value} = \sum_{x\,:\,P(X=x)\,\le\,P\left(X=\text{k}\right)} P(X = x)$$ 片側p値の下側は $$P\!\left(X \le \text{k}\right) = \sum_{x=0}^{\text{k}} \binom{\text{n}}{x}\, \text{p}^{\,x}\,\bigl(1-\text{p}\bigr)^{\text{n}-x}$$、上側は $$P\!\left(X \ge \text{k}\right) = \sum_{x=\text{k}}^{\text{n}} \binom{\text{n}}{x}\, \text{p}^{\,x}\,\bigl(1-\text{p}\bigr)^{\text{n}-x}$$ となります。
具体例で見てみよう
たとえば、コインを10回投げて8回表が出たとし、このコインが公平（\(p = 0.5\)）かどうかを検定するとします。ちょうど8回表が出る確率は $$C(10,8)\cdot 0.5^{10} = \frac{45}{1024} \approx 0.043945$$ です。対称性から、これと同程度かそれ以下に起こりにくい結果は、表が0,1,2,8,9,10回のケースです。これらの確率を合計すると $$2\cdot\frac{1+10+45}{1024} = \frac{112}{1024} \approx 0.109375$$ となり、これが両側p値です。この値は0.05を上回るため、「コインは公平である」という仮説は棄却されません。
結果の解釈
正確二項検定は、\(n\)回の独立試行における観測された成功数\(k\)を、仮説的な成功確率\(p\)と比較します。p値は単一の質問に答えます：帰無仮説が真実であれば、観測した結果と同じかそれ以上に極端な結果が得られる可能性はどのくらいか？
両側検定対一側検定
両側p値は、真の確率が\(p\)と異なるかどうかをどちらの方向においてでもテストします。観測された\(k\)の尤度以下の尤度を持つすべての結果の確率を合計します（このカリキュレーターおよびRのbinom.testで使用される方法）。高い結果または低い結果が得られると予想する先見的な理由がない場合に使用してください。
一側p値は方向性のある主張をテストします—たとえば「真の確率は\(p\)より大きい」など。指定した裾だけの確率を合計します。一側p値はおおよそ両側値の半分であるため、データを見る前に方向を選択し、決して後で選択しないでください。
有意水準（アルファ）
閾値\(\alpha\)は、許容できる偽陽性率です。一般的な選択肢は\(\alpha = 0.05\)およびより厳密な\(\alpha = 0.01\)です。p値を\(\alpha\)と比較します：
- p値\(\le \alpha\)の場合：帰無仮説を棄却します—データは\(p\)と矛盾しており、統計的に有意と呼ぶのに十分です。
- p値\(> \alpha\)の場合：帰無仮説を棄却しません—データは\(p\)と相容です。
「棄却しない」の意味と意味しないこと
「棄却しない」とは、帰無仮説に対して十分な証拠がないことを意味するだけです。これは帰無仮説が真実であることを証明しません。小さなサンプルは、真の確率が\(p\)と異なる場合でも、簡単に有意でない結果を生じることができます。証拠がないことは証拠がないことではありません。データが実際にサポートするものを測定するには、テストを効果推定値と比率の信頼区間とペアにします。
定義と用語集
- 成功数（k）
- 関心のある結果を持つ試行の観測カウント。\(0 \le k \le n\)の整数。
- 試行数（n）
- 各試行が同じ成功確率を持つ独立ベルヌーイ試行の総数。
- 仮説的確率（p）
- 帰無仮説の下で仮定される成功確率、\(0 \le p \le 1\)。例えば、コインの公正性は\(p = 0.5\)に対応します。
- 帰無仮説（H₀）
- テストされているデフォルトの主張：真の成功確率は\(p\)に等しい、すなわち\(H_0:\, \pi = p\)。
- 対立仮説（H₁）
- H₀が棄却された場合に受け入れられる主張：\(\pi \ne p\)（両側）、または\(\pi > p\) / \(\pi < p\)（一側）。
- p値
- H₀の下で計算された、観測された\(k\)と同じかそれ以上に極端な結果が得られる確率。値が小さいほど、H₀に対する証拠が強くなります。
- 両側検定
- 観測されたものと同じかそれより確率が低いすべての結果を合計することで、\(p\)からのいずれかの方向での差を検出します。
- 一側検定
- 事前に指定された単一の方向での差を検出します。
- 期待度数（np）
- H₀の下で期待される成功数、\(np\)。\(k\)を\(np\)と比較すると、乖離の方向と大まかなサイズが示されます。
- 有意水準（アルファ）
- p値が判定される事前に選択した閾値\(\alpha\)（一般的には0.05または0.01）。第1種の誤りの最大許容確率です。
よくある質問（FAQ）
z検定ではなく正確確率検定を使うべきなのはどんなとき？ \(n\) が小さい場合や期待される成功回数が少ない場合、正規近似は信頼性に欠けます。こうした状況では二項検定（正確確率検定）を使いましょう。
p値が小さいと何を意味するの？ p値が小さい（たとえば0.05未満）場合、観測された成功回数は仮定した確率のもとでは起こりにくいことを示し、その仮説に反する根拠となります。
両側p値が片側p値の2倍にならないのはなぜ？ 正確確率検定の両側p値は、確率の観点で観測結果と同程度かそれ以上に極端なすべての結果の確率を合計します。分布が左右非対称（歪んでいる）の場合、これは必ずしも小さい側の裾の2倍にはなりません。
