通过MCP连接 →

输入计算

数学公式

Show calculation steps (1)
  1. Sampled x Values

    Sampled x Values: Leaky ReLU 激活函数计算器

    Each point i (from 0) uses x = startX + i*stepX for the given number of points.

广告

结果

Leaky ReLU at x = 3
3
f(x) = x if x > 0, else α·x
点数 101
α (leak slope) 0.01
First f(x) (at x = -4) -0.04
Last f(x) (at x = 1) 1
x f(x)
-4 -0.04
-3.95 -0.0395
-3.9 -0.039
-3.85 -0.0385
-3.8 -0.038
-3.75 -0.0375
-3.7 -0.037
-3.65 -0.0365
-3.6 -0.036
-3.55 -0.0355
-3.5 -0.035
-3.45 -0.0345
-3.4 -0.034
-3.35 -0.0335
-3.3 -0.033
-3.25 -0.0325
-3.2 -0.032
-3.15 -0.0315
-3.1 -0.031
-3.05 -0.0305
-3 -0.03
-2.95 -0.0295
-2.9 -0.029
-2.85 -0.0285
-2.8 -0.028
-2.75 -0.0275
-2.7 -0.027
-2.65 -0.0265
-2.6 -0.026
-2.55 -0.0255
-2.5 -0.025
-2.45 -0.0245
-2.4 -0.024
-2.35 -0.0235
-2.3 -0.023
-2.25 -0.0225
-2.2 -0.022
-2.15 -0.0215
-2.1 -0.021
-2.05 -0.0205
-2 -0.02
-1.95 -0.0195
-1.9 -0.019
-1.85 -0.0185
-1.8 -0.018
-1.75 -0.0175
-1.7 -0.017
-1.65 -0.0165
-1.6 -0.016
-1.55 -0.0155
-1.5 -0.015
-1.45 -0.0145
-1.4 -0.014
-1.35 -0.0135
-1.3 -0.013
-1.25 -0.0125
-1.2 -0.012
-1.15 -0.0115
-1.1 -0.011
-1.05 -0.0105
-1 -0.01
-0.95 -0.0095
-0.9 -0.009
-0.85 -0.0085
-0.8 -0.008
-0.75 -0.0075
-0.7 -0.007
-0.65 -0.0065
-0.6 -0.006
-0.55 -0.0055
-0.5 -0.005
-0.45 -0.0045
-0.4 -0.004
-0.35 -0.0035
-0.3 -0.003
-0.25 -0.0025
-0.2 -0.002
-0.15 -0.0015
-0.1 -0.001
-0.05 -0.0005
0 0
0.05 0.05
0.1 0.1
0.15 0.15
0.2 0.2
0.25 0.25
0.3 0.3
0.35 0.35
0.4 0.4
0.45 0.45
0.5 0.5
0.55 0.55
0.6 0.6
0.65 0.65
0.7 0.7
0.75 0.75
0.8 0.8
0.85 0.85
0.9 0.9
0.95 0.95
1 1

什么是 Leaky ReLU 激活函数?

Leaky ReLU(带泄漏的修正线性单元,Leaky Rectified Linear Unit)是深度神经网络中常用的激活函数。和标准 ReLU 一样,它会让正数输入原样通过;不同的是,对于负数输入它不会直接压成零,而是赋予一个很小的非零斜率 alpha。这样一来,当预激活值为负时仍能保留一点点梯度,有助于缓解"ReLU 神经元死亡"(dying ReLU)问题——即神经元始终输出零、停止学习的情况。

x 轴和 y 轴上的 Leaky ReLU 激活函数图像
Leaky ReLU 曲线:一条过原点的直线,负输入时斜率较小,正输入时斜率为1。

计算公式

给定输入 \(x\) 和泄漏斜率 \(\alpha\),输出为:

$$f(\text{x}) = \begin{cases} \text{x} & \text{if } \text{x} > 0 \\[0.5em] \alpha \cdot \text{x} & \text{if } \text{x} \le 0 \end{cases}$$

当 \(x > 0\) 时 \(f(x) = x\);当 \(x \le 0\) 时 \(f(x) = \alpha \cdot x\)。默认泄漏斜率为 \(\alpha = 0.01\)。有两个特殊情形值得留意:当 \(\alpha = 0\) 时,函数还原为标准 ReLU(\(\max(0, x)\));当 \(\alpha = 1\) 时,函数退化为恒等直线 \(f(x) = x\)。

如何使用本计算器

依次输入起始 \(x\) 值、相邻两点之间的步长、需要生成的点数,以及泄漏斜率 \(\alpha\)。工具会按

$$x_i = \text{Initial x} + i \cdot \text{Step}, \quad i = 0, 1, \dots, \text{Count} - 1$$

(\(i\) 从 0 到 count-1)构造数列,对每个点求出 \(f\) 值,并列出所有 \((x, f(x))\) 数据对,同时绘制函数曲线。你也可以只输入单个 \(x\) 值,直接得到对应的 \(f(x)\) 结果。

实例演算

取 \(\alpha = 0.01\):当 \(x = -4\) 时,输入为非正数,因此 \(f = 0.01 \times (-4) = -0.04\);当 \(x = 0\) 时,\(f = 0\);当 \(x = 3\) 时,输入为正数,因此 \(f = 3\)。采用默认参数(\(\text{startX} = -4\),\(\text{stepX} = 0.05\),\(\text{count} = 101\))时,扫描区间从 \(x = -4\)(\(f = -0.04\))一直到 \(x = +1.0\)(\(f = 1.0\)),并在第 81 个点(\(i = 80\))处穿过零点。

常见问题

Leaky ReLU 和 ReLU 有什么区别? 对于所有负数输入,ReLU 的输出严格为 0;而 Leaky ReLU 的输出是 \(\alpha \cdot x\),即一个很小的负值,从而保留了梯度。

alpha 取什么值比较合适? 0.01 是常见的默认值。像参数化 ReLU(Parametric ReLU)这类变体,则会在训练过程中自动学习 \(\alpha\) 的取值。

alpha 可以取负值吗? 从数学上讲是可以的,但这种用法很少见,在常规网络中并不推荐。

最后更新: