計算を入力してください
このツールで前回入力した値があります。
結果
x における Leaky ReLU = 3
3
f(x) = x(x > 0 のとき)、それ以外は α·x
| 点の個数 |
101 |
| α(リーク係数) |
0.01 |
| 最初の f(x) (x = -4) |
-0.04 |
| 最後の f(x) (x = 1) |
1 |
| x |
f(x) |
| -4 |
-0.04 |
| -3.95 |
-0.0395 |
| -3.9 |
-0.039 |
| -3.85 |
-0.0385 |
| -3.8 |
-0.038 |
| -3.75 |
-0.0375 |
| -3.7 |
-0.037 |
| -3.65 |
-0.0365 |
| -3.6 |
-0.036 |
| -3.55 |
-0.0355 |
| -3.5 |
-0.035 |
| -3.45 |
-0.0345 |
| -3.4 |
-0.034 |
| -3.35 |
-0.0335 |
| -3.3 |
-0.033 |
| -3.25 |
-0.0325 |
| -3.2 |
-0.032 |
| -3.15 |
-0.0315 |
| -3.1 |
-0.031 |
| -3.05 |
-0.0305 |
| -3 |
-0.03 |
| -2.95 |
-0.0295 |
| -2.9 |
-0.029 |
| -2.85 |
-0.0285 |
| -2.8 |
-0.028 |
| -2.75 |
-0.0275 |
| -2.7 |
-0.027 |
| -2.65 |
-0.0265 |
| -2.6 |
-0.026 |
| -2.55 |
-0.0255 |
| -2.5 |
-0.025 |
| -2.45 |
-0.0245 |
| -2.4 |
-0.024 |
| -2.35 |
-0.0235 |
| -2.3 |
-0.023 |
| -2.25 |
-0.0225 |
| -2.2 |
-0.022 |
| -2.15 |
-0.0215 |
| -2.1 |
-0.021 |
| -2.05 |
-0.0205 |
| -2 |
-0.02 |
| -1.95 |
-0.0195 |
| -1.9 |
-0.019 |
| -1.85 |
-0.0185 |
| -1.8 |
-0.018 |
| -1.75 |
-0.0175 |
| -1.7 |
-0.017 |
| -1.65 |
-0.0165 |
| -1.6 |
-0.016 |
| -1.55 |
-0.0155 |
| -1.5 |
-0.015 |
| -1.45 |
-0.0145 |
| -1.4 |
-0.014 |
| -1.35 |
-0.0135 |
| -1.3 |
-0.013 |
| -1.25 |
-0.0125 |
| -1.2 |
-0.012 |
| -1.15 |
-0.0115 |
| -1.1 |
-0.011 |
| -1.05 |
-0.0105 |
| -1 |
-0.01 |
| -0.95 |
-0.0095 |
| -0.9 |
-0.009 |
| -0.85 |
-0.0085 |
| -0.8 |
-0.008 |
| -0.75 |
-0.0075 |
| -0.7 |
-0.007 |
| -0.65 |
-0.0065 |
| -0.6 |
-0.006 |
| -0.55 |
-0.0055 |
| -0.5 |
-0.005 |
| -0.45 |
-0.0045 |
| -0.4 |
-0.004 |
| -0.35 |
-0.0035 |
| -0.3 |
-0.003 |
| -0.25 |
-0.0025 |
| -0.2 |
-0.002 |
| -0.15 |
-0.0015 |
| -0.1 |
-0.001 |
| -0.05 |
-0.0005 |
| 0 |
0 |
| 0.05 |
0.05 |
| 0.1 |
0.1 |
| 0.15 |
0.15 |
| 0.2 |
0.2 |
| 0.25 |
0.25 |
| 0.3 |
0.3 |
| 0.35 |
0.35 |
| 0.4 |
0.4 |
| 0.45 |
0.45 |
| 0.5 |
0.5 |
| 0.55 |
0.55 |
| 0.6 |
0.6 |
| 0.65 |
0.65 |
| 0.7 |
0.7 |
| 0.75 |
0.75 |
| 0.8 |
0.8 |
| 0.85 |
0.85 |
| 0.9 |
0.9 |
| 0.95 |
0.95 |
| 1 |
1 |
このページの誤りを報告
Leaky ReLU活性化関数とは
Leaky ReLU(Leaky Rectified Linear Unit)は、ディープニューラルネットワークで広く使われる活性化関数です。標準的なReLUと同様に、正の入力はそのまま出力します。一方で、負の入力をすべて0にしてしまうのではなく、小さな傾きα(リーク係数)を掛けた値を出力するのが特徴です。これにより負の入力に対してもわずかな勾配が流れ続けるため、ニューロンが常に0を出力し続けて学習が止まってしまう「死んだReLU(dying ReLU)」問題を回避しやすくなります。
Leaky ReLU曲線:原点を通る直線で、負の入力には小さな傾き、正の入力には傾き1を持つ。
計算式
入力xとリーク係数αに対して、出力は次のようになります。
$$f(\text{x}) = \begin{cases} \text{x} & \text{if } \text{x} > 0 \\[0.5em] \alpha \cdot \text{x} & \text{if } \text{x} \le 0 \end{cases}$$
αの既定値は 0.01 です。特別なケースとして、α = 0 のときは標準的なReLU(\(\max(0, \text{x})\))と一致し、α = 1 のときは恒等関数 \(f(\text{x}) = \text{x}\) になる点も押さえておくとよいでしょう。
このツールの使い方
xの初期値、点と点の間隔(ステップ幅)、生成する点の個数、そしてリーク係数αを入力してください。ツールは i = 0 から count−1 まで
$$x_i = \text{Initial x} + i \cdot \text{Step}, \quad i = 0, 1, \dots, \text{Count} - 1$$
という数列を作り、各点で f を計算して、(x, f(x)) のペア一覧と曲線のグラフを表示します。また、単一のxの値を入力すれば、その点での \(f(\text{x})\) を1つだけ直接求めることもできます。
計算例
α = 0.01 の場合:x = −4 では入力が0以下なので \(f = 0.01 \times (-4) = -0.04\) となります。x = 0 では \(f = 0\)、x = 3 では入力が正なので \(f = 3\) です。既定値(startX = −4、stepX = 0.05、count = 101)を使うと、x = −4(f = −0.04)から x = +1.0(f = 1.0)まで計算が進み、81番目の点(i = 80)でちょうど0を通過します。
よくある質問(FAQ)
Leaky ReLUは通常のReLUと何が違いますか? ReLUは負の入力に対してすべて0を出力します。一方Leaky ReLUは \(\alpha \cdot \text{x}\) という小さな負の値を出力し、勾配を保ち続けます。
αにはどんな値が適していますか? 0.01 が一般的な既定値です。Parametric ReLU(PReLU)などの派生では、αを学習によって自動で調整します。
αを負の値にできますか? 数学的には可能ですが、一般的ではなく、通常のネットワークでは推奨されません。
関連する電卓
-
三角関数計算機
度・ラジアン・グラード・回転のいずれの角度でも、sin・cos・tan・cot・sec・cscを瞬時に計算。極(未定義点)も自動で検出します。
-
ソフトマックス関数計算機
入力ベクトルのソフトマックス値をオンラインで計算。任意の実数リストを合計1の確率分布へ変換します。数値的に安定した計算方式を採用。
-
三角関数計算ツール
任意の角度(度数法・弧度法)について sin・cos・tan・csc・sec・cot を一瞬で計算。公式付きの無料三角関数計算ツールです。
-
インボリュート関数計算機
角度(度またはラジアン)からインボリュート関数 inv(α) = tan(α) − α を計算。歯車・スプライン歯形の設計に欠かせないツールです。
-
対数関数 計算ツール
自然対数 ln(x)、常用対数 log(x)、任意の底aの対数 log_a(x) を計算。正の実数xに対して底の変換公式で高精度に求める無料オンライン計算ツールです。
-
べき関数計算ツール
べき関数 y = a·x^b の値をその場で計算。係数 a、底 x、指数 b を入力するだけで、高精度な結果と途中計算 x^b を表示します。