什麼是 Sigmoid 函數?
Sigmoid 函數(又稱邏輯函數,logistic function)能把任何實數平滑地壓縮到開區間 (0, 1) 之間,形成一條漂亮的 S 形曲線。其定義為 \(\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}\),是神經網路中最常見的激活函數之一,也廣泛應用於邏輯迴歸、機率建模與成長曲線分析。其中的增益參數 \(\text{a}\) 決定了曲線過渡的陡峭程度:當 \(\text{a} = 1\) 時,就是教科書上最經典的 Sigmoid 曲線;而 \(\text{a}\) 越大,過渡段就越被壓縮,越接近一個階梯函數。
如何使用這個計算機
先輸入增益 \(\text{a}\),接著設定想要評估的範圍:x 最小值、x 最大值與 x 步長(遞增量)。本工具會在每個步長點上建立一張表格,列出 \(\sigma(x)\)、其一階導數 \(\sigma^{\prime}(x)\) 與二階導數 \(\sigma^{\prime\prime}(x)\);若你另外填入一個 x 值,還會回報該單點的計算結果。請務必確保步長大於零,且 x 最大值不小於 x 最小值,否則表格將無法產生任何資料列。
公式解析
若以 \(\sigma\) 本身來表示,導數的形式會格外簡潔。微分後可得 $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ 其值恆為正(代表曲線單調遞增),並在反曲點 \(x = 0\) 處達到最大值 \(\frac{\text{a}}{4}\)。至於二階導數 $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ 會在 \(x = 0\)(此時 \(\sigma = 0.5\))處變號,正好印證了該點即為反曲點。
計算範例
假設 \(\text{a} = 1\)、\(x = 2\)。則 \(e^{-2} = 0.135335\),因此 $$\sigma(2) = \frac{1}{1.135335} = 0.880797$$ 一階導數為 $$0.880797 \cdot (1 - 0.880797) = 0.104994$$ 二階導數則為 $$0.104994 \cdot (1 - 2 \cdot 0.880797) = 0.104994 \cdot (-0.761594) = -0.079963$$ 而在 \(x = 0\) 時,各值分別為 \(\sigma = 0.5\)、\(\sigma^{\prime} = 0.25\)、\(\sigma^{\prime\prime} = 0\)。
邏輯函數及其導數的參考值(a = 1)
對於標準邏輯函數 \(\sigma(x)=\frac{1}{1+e^{-x}}\),其導數為 \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\) 與 \(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\)。數值四捨五入至小數點後 6 位。
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
對稱性
- \(\sigma(-x)=1-\sigma(x)\):曲線以 (0, 0.5) 為中心呈點對稱。
- \(\sigma'(-x)=\sigma'(x)\):一階導數為偶函數(呈鐘形曲線)。
- \(\sigma''(-x)=-\sigma''(x)\):二階導數為奇函數。
增益 a 對曲線的影響
增益 \(a\) 會縮放輸入值:\(\sigma(x)=\frac{1}{1+e^{-ax}}\),\(\sigma'(x)=a\,\sigma(1-\sigma)\),\(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\)。下表在 x = 1 時計算各個增益的值。
| 增益 a | σ(1) | σ′(1) | σ″(1) | 最大斜率 a/4(在 x = 0 處) | σ 介於 0.1 與 0.9 之間 |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
最大斜率為 \(\sigma'(0)=a/4\)。由於 \(\sigma=0.1\) 與 \(\sigma=0.9\) 發生在 \(ax=\mp\ln 9\) 處,過渡帶大致為 \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\)。增益越大,過渡越陡峭且越窄;增益越小,過渡則越平緩且越寬。請注意,在 x = 1 時,a = 5 的二階導數絕對值小於 a = 2,因為此時曲線已開始飽和。
解讀 Sigmoid 與導數的數值
σ(x):有界、類似機率的輸出
此函數將任意實數映射到開區間 (0, 1),且 σ(0) = 0.5。因此它常用於邏輯迴歸、神經網路激活函數,以及成長或飽和模型。像 0.88 這樣的數值可被視為類似機率的分數,但只有當模型是以此方式擬合時,它才是真正經過校準的機率。
σ′(x):敏感度或梯度
一階導數表示 x 每單位變化時,輸出變化的快慢。它恆為正,在 x = 0 時達到峰值 \(a/4\),並在兩側尾端趨近於 0。當 \(|a\,x|\) 超過約 5 時,σ′ 低於約 0.0066·a,此時函數已飽和:輸入的大幅變化幾乎不會改變輸出。在基於梯度的訓練中,這就是梯度消失效應,因為極小的導數會使權重更新變得微小。
σ″(x):曲率
- 當 x < 0 時,σ″ > 0:曲線為凸(向上彎曲),斜率仍在增加。
- 當 x = 0 時,σ″ = 0:這是反曲點,斜率在此達到最大值。
- 當 x > 0 時,σ″ < 0:曲線為凹(向下彎曲),斜率正在減小。
σ″ 的極值出現在 \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\) 處,即 \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\)。這些點是斜率變化最快的地方。
常見問題
增益 \(\text{a}\) 有什麼作用?它會對輸入值進行縮放。\(\text{a}\) 越大,曲線在 \(x = 0\) 附近上升得越快;當 \(\text{a}\) 不斷增大,Sigmoid 會逐漸逼近一個硬階梯函數,而 \(\text{a} = 0\) 時則會變成一條固定在 0.5 的水平線。
最陡峭的點在哪裡?永遠在 \(x = 0\),此處斜率等於 \(\frac{\text{a}}{4}\),且二階導數為零。
為什麼輸出永遠不會剛好等於 0 或 1?對於有限的 \(x\),指數項永遠不會真正等於零,因此 \(\sigma\) 始終嚴格落在 (0, 1) 之內。當 \(|\text{a}\cdot x|\) 極大時,數值上會四捨五入趨近於 0 或 1,本計算機已對這種情況做了安全處理。