シグモイド関数とは
シグモイド関数(ロジスティック関数)は、任意の実数をなめらかなS字曲線で開区間 (0, 1) に押し込む関数です。\(\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}\) と定義され、ニューラルネットワークの活性化関数として最もよく使われるもののひとつであり、ロジスティック回帰や確率モデル、成長曲線などにも欠かせません。ゲインパラメータ \(\text{a}\) は遷移の急さを決めます。\(\text{a} = 1\) のときが教科書でおなじみの基本的なシグモイドで、\(\text{a}\) を大きくするほど遷移が鋭くなり、ステップ関数(階段状)に近づいていきます。
この計算ツールの使い方
まずゲイン \(\text{a}\) を入力し、続いて関数を評価したい範囲、つまり \(x\) の最小値・最大値・刻み幅(増分)を指定します。本ツールは各ステップにおける \(\sigma(x)\)、その1次微分 \(\sigma^{\prime}(x)\)、2次微分 \(\sigma^{\prime\prime}(x)\) を表にまとめて出力し、必要に応じて入力した単一の \(x\) における値も表示します。刻み幅は 0 より大きく、\(x\) の最大値は最小値以上になるように設定してください。条件を満たさないと表に行が生成されません。
数式の解説
微分は \(\sigma\) 自身を使って書くと非常にすっきりした形になります。微分すると $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ となり、これは常に正(曲線は単調増加)で、変曲点 \(x = 0\) において最大値 \(\frac{\text{a}}{4}\) をとります。2次微分は $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ で、\(\sigma = 0.5\) となる \(x = 0\) で符号が反転し、ここが変曲点であることを裏づけます。
計算例
\(\text{a} = 1\)、\(x = 2\) としてみましょう。\(e^{-2} = 0.135335\) なので、 $$\sigma(2) = \frac{1}{1.135335} = 0.880797$$ となります。1次微分は \(0.880797 \cdot (1 - 0.880797) = 0.104994\)。2次微分は \(0.104994 \cdot (1 - 2 \cdot 0.880797) = 0.104994 \cdot (-0.761594) = -0.079963\) です。\(x = 0\) のときは \(\sigma = 0.5\)、\(\sigma^{\prime} = 0.25\)、\(\sigma^{\prime\prime} = 0\) になります。
シグモイド関数とその導関数の参考値(a = 1)
標準ロジスティック関数 \(\sigma(x)=\frac{1}{1+e^{-x}}\) について、導関数は \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\)、\(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\) となります。値は小数点以下6桁で四捨五入しています。
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
対称性
- \(\sigma(-x)=1-\sigma(x)\):曲線は点(0, 0.5)に関して点対称です。
- \(\sigma'(-x)=\sigma'(x)\):一階導関数は偶関数(釣り鐘型の曲線)です。
- \(\sigma''(-x)=-\sigma''(x)\):二階導関数は奇関数です。
利得 a が曲線に与える影響
利得 \(a\) は入力をスケーリングします:\(\sigma(x)=\frac{1}{1+e^{-ax}}\)、\(\sigma'(x)=a\,\sigma(1-\sigma)\)、\(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\)。表では各利得について x = 1 の値を求めています。
| 利得 a | σ(1) | σ′(1) | σ″(1) | 最大傾き a/4(x = 0 のとき) | σ が 0.1 から 0.9 の範囲 |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
最大傾きは \(\sigma'(0)=a/4\) です。\(\sigma=0.1\) と \(\sigma=0.9\) は \(ax=\mp\ln 9\) のところで起こるため、遷移帯はおおよそ \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\) になります。利得が大きいほど傾きは急で狭い遷移になり、利得が小さいほどなだらかで広い遷移になります。また、x = 1 では a = 5 の二階導関数の絶対値が a = 2 の場合より小さくなっていますが、これは曲線がすでにその位置で飽和し始めているためです。
シグモイド関数と導関数の値の解釈
σ(x):有界で確率に似た出力
シグモイド関数は任意の実数入力を開区間 (0, 1) に写像し、σ(0) = 0.5 です。このため、ロジスティック回帰、ニューラルネットワークの活性化関数、成長や飽和のモデルに用いられます。0.88 のような値は確率に似たスコアとして読めますが、モデルがそのように当てはめられている場合にのみ、真の較正済み確率となります。
σ′(x):感度または勾配
一階導関数は、x の単位変化あたりに出力がどれだけ速く変化するかを示します。常に正の値をとり、x = 0 で最大値 \(a/4\) に達し、両側の裾では 0 に近づきます。\(|a\,x|\) が約 5 を超えると σ′ は約 0.0066·a 未満となり、関数は飽和します。つまり、入力の大きな変化があっても出力はほとんど変わりません。勾配ベースの学習では、導関数が非常に小さいため重みの更新がわずかになるという勾配消失の現象がこれにあたります。
σ″(x):曲率
- x < 0 のとき σ″ > 0:曲線は下に凸(上向きに曲がる)で、傾きはまだ増加しています。
- x = 0 のとき σ″ = 0:これは変曲点であり、傾きが最大になる点です。
- x > 0 のとき σ″ < 0:曲線は上に凸(下向きに曲がる)で、傾きは減少しています。
σ″ の極値は \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\) の位置、すなわち \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\) で起こります。これらは傾きが最も速く変化する点です。
よくある質問(FAQ)
ゲイン \(\text{a}\) は何をするものですか? 入力を拡大・縮小するスケール係数です。\(\text{a}\) を大きくすると \(x = 0\) 付近で曲線が急激に立ち上がり、\(\text{a}\) が大きくなるほどシグモイドは鋭いステップ関数に近づきます。逆に \(\text{a} = 0\) のときは 0.5 の水平な直線になります。
最も傾きが急になるのはどこですか? 常に \(x = 0\) です。ここで傾きは \(\frac{\text{a}}{4}\) に等しく、2次微分は 0 になります。
出力がちょうど 0 や 1 にならないのはなぜですか? 有限の \(x\) では指数関数がゼロにならないため、\(\sigma\) は厳密に (0, 1) の内側に留まります。\(|\text{a}\cdot x|\) が極端に大きい場合は数値計算上 0 または 1 に丸められますが、本ツールはこれを安全に処理します。