Sigmoid 函數計算機(含一階與二階導數)

Sigmoid 函數計算機(含一階與二階導數)

熱門 AI Skill PRO

輸入計算

數學公式

σ(x)=11+e−ax\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}
顯示計算步驟 (3)
  1. 一階導數

    σ′(x)=aσ(x)(1−σ(x))\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)

    Sigmoid 函數的斜率;a = 增益

  2. 二階導數

    σ′′(x)=a2σ(x)(1−σ(x))(1−2σ(x))\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)

    Sigmoid 函數的曲率;a = 增益

  3. 最大斜率

    σmax⁡′=a4\sigma^{\prime}_{\max} = \frac{\text{a}}{4}

    Sigmoid 函數的峰值斜率,在 x = 0 處取得

使用統計

廣告

結果

x 處的 Sigmoid = 2 (a = 1)
0.880797
σ'(x) 一階導數
0.104994
σ''(x) 二階導數
-0.079963
x σ(x) σ'(x) σ''(x)
-6 0.002473 0.002467 0.002454
-5.5 0.00407 0.004054 0.004021
-5 0.006693 0.006648 0.006559
-4.5 0.010987 0.010866 0.010627
-4 0.017986 0.017663 0.017027
-3.5 0.029312 0.028453 0.026785
-3 0.047426 0.045177 0.040892
-2.5 0.075858 0.070104 0.059468
-2 0.119203 0.104994 0.079963
-1.5 0.182426 0.149146 0.09473
-1 0.268941 0.196612 0.090858
-0.5 0.377541 0.235004 0.057557
0 0.5 0.25 0
0.5 0.622459 0.235004 -0.057557
1 0.731059 0.196612 -0.090858
1.5 0.817574 0.149146 -0.09473
2 0.880797 0.104994 -0.079963
2.5 0.924142 0.070104 -0.059468
3 0.952574 0.045177 -0.040892
3.5 0.970688 0.028453 -0.026785
4 0.982014 0.017663 -0.017027
4.5 0.989013 0.010866 -0.010627
5 0.993307 0.006648 -0.006559
5.5 0.99593 0.004054 -0.004021
6 0.997527 0.002467 -0.002454
最大斜率 σ'(0) 0.25

回報本頁錯誤

什麼是 Sigmoid 函數?

Sigmoid 函數(又稱邏輯函數,logistic function)能把任何實數平滑地壓縮到開區間 (0, 1) 之間,形成一條漂亮的 S 形曲線。其定義為 \(\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}\),是神經網路中最常見的激活函數之一,也廣泛應用於邏輯迴歸、機率建模與成長曲線分析。其中的增益參數 \(\text{a}\) 決定了曲線過渡的陡峭程度:當 \(\text{a} = 1\) 時,就是教科書上最經典的 Sigmoid 曲線;而 \(\text{a}\) 越大,過渡段就越被壓縮,越接近一個階梯函數。

S 形的 sigmoid 曲線在 0.5 處穿過 y 軸,並在 0 與 1 處有水平漸近線
S 型函數形成一條介於 0 與 1 之間的 S 形曲線。

如何使用這個計算機

先輸入增益 \(\text{a}\),接著設定想要評估的範圍:x 最小值、x 最大值與 x 步長(遞增量)。本工具會在每個步長點上建立一張表格,列出 \(\sigma(x)\)、其一階導數 \(\sigma^{\prime}(x)\) 與二階導數 \(\sigma^{\prime\prime}(x)\);若你另外填入一個 x 值,還會回報該單點的計算結果。請務必確保步長大於零,且 x 最大值不小於 x 最小值,否則表格將無法產生任何資料列。

公式解析

若以 \(\sigma\) 本身來表示,導數的形式會格外簡潔。微分後可得 $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ 其值恆為正(代表曲線單調遞增),並在反曲點 \(x = 0\) 處達到最大值 \(\frac{\text{a}}{4}\)。至於二階導數 $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ 會在 \(x = 0\)(此時 \(\sigma = 0.5\))處變號,正好印證了該點即為反曲點。

廣告
sigmoid 曲線疊加其鐘形一階導數與 S 形二階導數
S 型函數(S 形曲線)、其鐘形的一階導數及二階導數。

計算範例

假設 \(\text{a} = 1\)、\(x = 2\)。則 \(e^{-2} = 0.135335\),因此 $$\sigma(2) = \frac{1}{1.135335} = 0.880797$$ 一階導數為 $$0.880797 \cdot (1 - 0.880797) = 0.104994$$ 二階導數則為 $$0.104994 \cdot (1 - 2 \cdot 0.880797) = 0.104994 \cdot (-0.761594) = -0.079963$$ 而在 \(x = 0\) 時,各值分別為 \(\sigma = 0.5\)、\(\sigma^{\prime} = 0.25\)、\(\sigma^{\prime\prime} = 0\)。

邏輯函數及其導數的參考值(a = 1)

對於標準邏輯函數 \(\sigma(x)=\frac{1}{1+e^{-x}}\),其導數為 \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\) 與 \(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\)。數值四捨五入至小數點後 6 位。

x σ(x) σ′(x) σ″(x)
-6 0.002473 0.002467 0.002454
-4 0.017986 0.017663 0.017028
-3 0.047426 0.045177 0.040892
-2 0.119203 0.104994 0.079963
-1 0.268941 0.196612 0.090858
0 0.500000 0.250000 0.000000
1 0.731059 0.196612 -0.090858
2 0.880797 0.104994 -0.079963
3 0.952574 0.045177 -0.040892
4 0.982014 0.017663 -0.017028
6 0.997527 0.002467 -0.002454

對稱性

  • \(\sigma(-x)=1-\sigma(x)\):曲線以 (0, 0.5) 為中心呈點對稱。
  • \(\sigma'(-x)=\sigma'(x)\):一階導數為偶函數(呈鐘形曲線)。
  • \(\sigma''(-x)=-\sigma''(x)\):二階導數為奇函數。

增益 a 對曲線的影響

增益 \(a\) 會縮放輸入值:\(\sigma(x)=\frac{1}{1+e^{-ax}}\),\(\sigma'(x)=a\,\sigma(1-\sigma)\),\(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\)。下表在 x = 1 時計算各個增益的值。

增益 a σ(1) σ′(1) σ″(1) 最大斜率 a/4(在 x = 0 處) σ 介於 0.1 與 0.9 之間
0.5 0.622459 0.117502 -0.014389 0.125 |x| < 4.394
1 0.731059 0.196612 -0.090858 0.25 |x| < 2.197
2 0.880797 0.209987 -0.319851 0.5 |x| < 1.099
5 0.993307 0.033240 -0.163975 1.25 |x| < 0.439

最大斜率為 \(\sigma'(0)=a/4\)。由於 \(\sigma=0.1\) 與 \(\sigma=0.9\) 發生在 \(ax=\mp\ln 9\) 處,過渡帶大致為 \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\)。增益越大,過渡越陡峭且越窄;增益越小,過渡則越平緩且越寬。請注意,在 x = 1 時,a = 5 的二階導數絕對值小於 a = 2,因為此時曲線已開始飽和。

廣告

解讀 Sigmoid 與導數的數值

σ(x):有界、類似機率的輸出

此函數將任意實數映射到開區間 (0, 1),且 σ(0) = 0.5。因此它常用於邏輯迴歸、神經網路激活函數,以及成長或飽和模型。像 0.88 這樣的數值可被視為類似機率的分數,但只有當模型是以此方式擬合時,它才是真正經過校準的機率。

σ′(x):敏感度或梯度

一階導數表示 x 每單位變化時,輸出變化的快慢。它恆為正,在 x = 0 時達到峰值 \(a/4\),並在兩側尾端趨近於 0。當 \(|a\,x|\) 超過約 5 時,σ′ 低於約 0.0066·a,此時函數已飽和:輸入的大幅變化幾乎不會改變輸出。在基於梯度的訓練中,這就是梯度消失效應,因為極小的導數會使權重更新變得微小。

σ″(x):曲率

  • 當 x < 0 時,σ″ > 0:曲線為凸(向上彎曲),斜率仍在增加。
  • 當 x = 0 時,σ″ = 0:這是反曲點,斜率在此達到最大值。
  • 當 x > 0 時,σ″ < 0:曲線為凹(向下彎曲),斜率正在減小。

σ″ 的極值出現在 \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\) 處,即 \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\)。這些點是斜率變化最快的地方。

常見問題

增益 \(\text{a}\) 有什麼作用?它會對輸入值進行縮放。\(\text{a}\) 越大,曲線在 \(x = 0\) 附近上升得越快;當 \(\text{a}\) 不斷增大,Sigmoid 會逐漸逼近一個硬階梯函數,而 \(\text{a} = 0\) 時則會變成一條固定在 0.5 的水平線。

最陡峭的點在哪裡?永遠在 \(x = 0\),此處斜率等於 \(\frac{\text{a}}{4}\),且二階導數為零。

為什麼輸出永遠不會剛好等於 0 或 1?對於有限的 \(x\),指數項永遠不會真正等於零,因此 \(\sigma\) 始終嚴格落在 (0, 1) 之內。當 \(|\text{a}\cdot x|\) 極大時,數值上會四捨五入趨近於 0 或 1,本計算機已對這種情況做了安全處理。

最後更新:

數學和統計熱門計算器

查看全部數學和統計計算器