什么是 Sigmoid 函数?
Sigmoid 函数,又称逻辑斯蒂(logistic)函数,能把任意实数平滑地"压缩"到开区间 (0, 1) 内,图像是一条优美的 S 形曲线。它的定义为 $$\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}$$ 是神经网络中应用最广泛的激活函数之一,也是逻辑回归、概率建模和增长曲线的核心工具。其中增益参数 \(a\) 决定了曲线过渡的陡峭程度:当 \(a = 1\) 时,得到的就是教科书中最经典的 Sigmoid 曲线;而 \(a\) 越大,过渡区间越窄,曲线越接近阶跃函数。
如何使用本计算器
先填入增益 \(a\),再设定需要计算的区间:x 最小值、x 最大值,以及 x 步长(增量)。计算器会在每个步长点上构建一张数值表,列出 \(\sigma(x)\) 及其一阶导数 \(\sigma'(x)\) 和二阶导数 \(\sigma''(x)\);如果你额外填写了某个 \(x\) 值,还会单独给出该点的计算结果。请确保步长大于零,且 x 最大值不小于 x 最小值,否则将无法生成任何数据行。
公式详解
当用 \(\sigma\) 本身来表达时,这些导数会呈现出格外简洁的形式。求导可得 $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ 它恒为正值(说明曲线单调递增),并在拐点 \(x = 0\) 处取得最大值 \(\frac{a}{4}\)。二阶导数为 $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ 它在 \(x = 0\)(此处 \(\sigma = 0.5\))处变号,正好印证了该点为拐点。
计算实例
设 \(a = 1\)、\(x = 2\)。此时 \(e^{-2} = 0.135335\),于是 $$\sigma(2) = \frac{1}{1.135335} = 0.880797$$ 一阶导数为 $$0.880797 \cdot (1 - 0.880797) = 0.104994$$ 二阶导数为 $$0.104994 \cdot (1 - 2 \cdot 0.880797) = 0.104994 \cdot (-0.761594) = -0.079963$$ 而在 \(x = 0\) 处,三个值分别为 \(\sigma = 0.5\)、\(\sigma' = 0.25\)、\(\sigma'' = 0\)。
S型函数(Sigmoid)及其导数的参考值(a = 1)
对于标准逻辑函数 \(\sigma(x)=\frac{1}{1+e^{-x}}\),其导数为 \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\),\(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\)。数值保留 6 位小数。
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
对称性
- \(\sigma(-x)=1-\sigma(x)\):曲线关于点 (0, 0.5) 呈点对称。
- \(\sigma'(-x)=\sigma'(x)\):一阶导数是偶函数(呈钟形曲线)。
- \(\sigma''(-x)=-\sigma''(x)\):二阶导数是奇函数。
增益 a 对曲线的影响
增益 \(a\) 缩放输入:\(\sigma(x)=\frac{1}{1+e^{-ax}}\),\(\sigma'(x)=a\,\sigma(1-\sigma)\),\(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\)。下表给出了 x = 1 时各增益对应的数值。
| 增益 a | σ(1) | σ′(1) | σ″(1) | 最大斜率 a/4(在 x = 0 处) | σ 介于 0.1 与 0.9 之间时的范围 |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
最大斜率为 \(\sigma'(0)=a/4\)。由于 \(\sigma=0.1\) 和 \(\sigma=0.9\) 分别出现在 \(ax=\mp\ln 9\) 处,过渡带大致为 \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\)。增益越大,过渡越陡峭、越狭窄;增益越小,过渡越平缓、范围越宽。注意,在 x = 1 处,a = 5 时的二阶导数绝对值小于 a = 2 时,因为此时曲线已开始饱和。
解读 Sigmoid 及其导数的数值
σ(x):有界、类概率的输出
S型函数将任意实数输入映射到开区间 (0, 1),且 σ(0) = 0.5。这正是它被用于逻辑回归、神经网络激活以及增长或饱和模型的原因。像 0.88 这样的值可以理解为类似概率的得分,但只有当模型是按概率方式拟合时,它才是真正经过校准的概率。
σ′(x):敏感度或梯度
一阶导数表示 x 每变化一个单位时输出变化的快慢。它始终为正,在 x = 0 处达到峰值 \(a/4\),并在两端趋近于 0。当 \(|a\,x|\) 超过约 5 时,σ′ 低于约 0.0066·a,此时函数已饱和:输入的大幅变化几乎不会改变输出。在基于梯度的训练中,这就是梯度消失效应,因为极小的导数会使权重更新变得极其微小。
σ″(x):曲率
- 当 x < 0 时,σ″ > 0:曲线为凸(向上弯曲),斜率仍在增大。
- 当 x = 0 时,σ″ = 0:这是拐点,斜率在此处达到最大值。
- 当 x > 0 时,σ″ < 0:曲线为凹(向下弯曲),斜率在减小。
σ″ 的极值出现在 \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\) 处,即 \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\)。这些点正是斜率变化最快的位置。
常见问题
增益 \(a\) 起什么作用?它对输入进行缩放。\(a\) 越大,曲线在 \(x = 0\) 附近上升得越快;当 \(a\) 不断增大时,Sigmoid 会逐渐逼近一个"硬"阶跃函数;而当 \(a = 0\) 时,则退化为一条恒为 0.5 的水平线。
曲线最陡的位置在哪里?始终在 \(x = 0\) 处,此处斜率等于 \(\frac{a}{4}\),二阶导数为零。
为什么输出永远取不到 0 或 1?对于有限的 \(x\),指数项永远无法等于零,所以 \(\sigma\) 始终严格落在 (0, 1) 区间内。当 \(|a\cdot x|\) 极大时,数值上会四舍五入为 0 或 1,本计算器对这种情况做了安全处理。