透過 MCP 連接 →

輸入計算

數學公式

廣告

結果

x = 0 時的 Softplus 值(參考)
0.693147
101 rows generated · x from -5 step 0.1
x Softplus f(x) 一階導數 f'(x)
-5 0.006715 0.006693
-4.9 0.007419 0.007392
-4.8 0.008196 0.008163
-4.7 0.009054 0.009013
-4.6 0.010002 0.009952
-4.5 0.011048 0.010987
-4.4 0.012203 0.012128
-4.3 0.013477 0.013387
-4.2 0.014884 0.014774
-4.1 0.016437 0.016302
-4 0.01815 0.017986
-3.9 0.02004 0.01984
-3.8 0.022124 0.021881
-3.7 0.024423 0.024127
-3.6 0.026957 0.026597
-3.5 0.02975 0.029312
-3.4 0.032828 0.032295
-3.3 0.036219 0.035571
-3.2 0.039953 0.039166
-3.1 0.044064 0.043107
-3 0.048587 0.047426
-2.9 0.053563 0.052154
-2.8 0.059033 0.057324
-2.7 0.065044 0.062973
-2.6 0.071645 0.069138
-2.5 0.07889 0.075858
-2.4 0.086836 0.083173
-2.3 0.095545 0.091123
-2.2 0.105083 0.09975
-2.1 0.11552 0.109097
-2 0.126928 0.119203
-1.9 0.139387 0.130108
-1.8 0.152978 0.141851
-1.7 0.167786 0.154465
-1.6 0.183901 0.167982
-1.5 0.201413 0.182426
-1.4 0.220417 0.197816
-1.3 0.241008 0.214165
-1.2 0.263282 0.231475
-1.1 0.287335 0.24974
-1 0.313262 0.268941
-0.9 0.341154 0.28905
-0.8 0.371101 0.310026
-0.7 0.403186 0.331812
-0.6 0.437488 0.354344
-0.5 0.474077 0.377541
-0.4 0.513015 0.401312
-0.3 0.554355 0.425557
-0.2 0.598139 0.450166
-0.1 0.644397 0.475021
0 0.693147 0.5
0.1 0.744397 0.524979
0.2 0.798139 0.549834
0.3 0.854355 0.574443
0.4 0.913015 0.598688
0.5 0.974077 0.622459
0.6 1.037488 0.645656
0.7 1.103186 0.668188
0.8 1.171101 0.689974
0.9 1.241154 0.71095
1 1.313262 0.731059
1.1 1.387335 0.75026
1.2 1.463282 0.768525
1.3 1.541008 0.785835
1.4 1.620417 0.802184
1.5 1.701413 0.817574
1.6 1.783901 0.832018
1.7 1.867786 0.845535
1.8 1.952978 0.858149
1.9 2.039387 0.869892
2 2.126928 0.880797
2.1 2.21552 0.890903
2.2 2.305083 0.90025
2.3 2.395545 0.908877
2.4 2.486836 0.916827
2.5 2.57889 0.924142
2.6 2.671645 0.930862
2.7 2.765044 0.937027
2.8 2.859033 0.942676
2.9 2.953563 0.947846
3 3.048587 0.952574
3.1 3.144064 0.956893
3.2 3.239953 0.960834
3.3 3.336219 0.964429
3.4 3.432828 0.967705
3.5 3.52975 0.970688
3.6 3.626957 0.973403
3.7 3.724423 0.975873
3.8 3.822124 0.978119
3.9 3.92004 0.98016
4 4.01815 0.982014
4.1 4.116437 0.983698
4.2 4.214884 0.985226
4.3 4.313477 0.986613
4.4 4.412203 0.987872
4.5 4.511048 0.989013
4.6 4.610002 0.990048
4.7 4.709054 0.990987
4.8 4.808196 0.991837
4.9 4.907419 0.992608
5 5.006715 0.993307

什麼是 Softplus 函數?

Softplus 函數 \(f(x) = \ln(1 + e^{x})\) 是神經網路中常用的 ReLU(修正線性單元)激活函數的平滑、可微近似版本。ReLU 在原點處會出現尖銳的轉折,而 Softplus 則在任何位置都平滑連續,且函數值恆為正。本計算器會依照你設定的範圍,建立一份包含 x、f(x) 以及一階導數的表格,並同時繪製兩條曲線,讓你清楚看到那條從平緩 S 形漸漸轉為斜坡的特徵走勢。

在 x-y 座標軸上將 Softplus 曲線與 ReLU 比較
Softplus 曲線是 ReLU 的平滑近似,始終為正,並在原點附近輕柔彎曲。

使用方式

請輸入三個數值:x 的初始值(第一個橫座標)、遞增量(各點之間的間距),以及重複次數(要產生幾列資料)。舉例來說,初始值設為 -5、遞增量設為 0.1、重複次數設為 101,就會產生從 -5.0 到 +5.0 的 x 值。計算結果會是一份可捲動的表格,外加一張呈現 Softplus 及其導數的圖表。

公式解析

Softplus 為 $$f(x) = \ln(1 + e^{x}).$$ 其導數為 $$f'(x) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{-x}},$$ 這正好就是邏輯斯 sigmoid 函數。當 \(x\) 往正方向變得很大時,\(f(x)\) 會趨近 \(x\),\(f'(x)\) 趨近 1;當 \(x\) 往負方向變得很大時,\(f(x)\) 趨近 0,\(f'(x)\) 也趨近 0。為了避免 \(x\) 過大時發生溢位,本工具採用數值上更穩定的形式:$$f(x) = \max(x, 0) + \ln\left(1 + e^{-|x|}\right).$$

Advertisement
Softplus 及其 sigmoid 導數一同繪製
Softplus 的導數是 sigmoid 函數,一條從 0 上升到 1 的 S 形曲線。

實例演算

當 \(x = 0\) 時:\(f(0) = \ln(2) = 0.693147\),\(f'(0) = 0.5\)。當 \(x = 1\) 時:\(f(1) = \ln(1 + 2.718282) = 1.313262\),\(f'(1) = \frac{1}{1 + e^{-1}} = 0.731059\)。當 \(x = -1\) 時:\(f(-1) = 0.313262\),\(f'(-1) = 0.268941\)。值得留意的是恆等式 \(f(x) - f(-x) = x\),例如 \(1.313262 - 0.313262 = 1\)。

常見問題

為什麼要用 Softplus 而不用 ReLU?Softplus 平滑且在任何位置都有非零的梯度,這對以梯度為基礎的最佳化有幫助;不過 ReLU 的運算成本較低。

輸出值一定是正數嗎?是的。對任何有限的 \(x\) 而言,因為 \(1 + e^{x} > 1\),所以 \(\ln(1 + e^{x}) > 0\)。

導數代表什麼意義?它是 Softplus 曲線的斜率,等於邏輯斯 sigmoid 函數,會從 0 到 1 單調遞增,並在 \(x = 0\) 時取值 0.5。

最後更新: