Calculateur de la fonction d'activation Leaky ReLU

Calculateur de la fonction d'activation Leaky ReLU

Émergent AI Skill PRO

Entrez le calcul

Formule

f(x)={xif x>0α·xif x≤0f(\text{x}) = \begin{cases} \text{x} & \text{if } \text{x} > 0 \\[0.5em] {\alpha} \cdot \text{x} & \text{if } \text{x} \le 0 \end{cases}
Afficher les étapes du calcul (1)
  1. Valeurs de x échantillonnées

    xi=x initial+i·Pas,i=0,1,…,Nombre−1x_i = \text{x initial} + i \cdot \text{Pas}, \quad i = 0, 1, \dots, \text{Nombre} - 1

    Chaque point i (à partir de 0) utilise x = startX + i*stepX pour le nombre de points donné.

Statistiques d'utilisation

Publicité

Résultats

Leaky ReLU en x = 3
3
f(x) = x si x > 0, sinon α·x
Nombre de points 101
α (pente de fuite) 0,01
Premier f(x) (x = -4) -0,04
Dernier f(x) (x = 1) 1
x f(x)
-4 -0,04
-3,95 -0,0395
-3,9 -0,039
-3,85 -0,0385
-3,8 -0,038
-3,75 -0,0375
-3,7 -0,037
-3,65 -0,0365
-3,6 -0,036
-3,55 -0,0355
-3,5 -0,035
-3,45 -0,0345
-3,4 -0,034
-3,35 -0,0335
-3,3 -0,033
-3,25 -0,0325
-3,2 -0,032
-3,15 -0,0315
-3,1 -0,031
-3,05 -0,0305
-3 -0,03
-2,95 -0,0295
-2,9 -0,029
-2,85 -0,0285
-2,8 -0,028
-2,75 -0,0275
-2,7 -0,027
-2,65 -0,0265
-2,6 -0,026
-2,55 -0,0255
-2,5 -0,025
-2,45 -0,0245
-2,4 -0,024
-2,35 -0,0235
-2,3 -0,023
-2,25 -0,0225
-2,2 -0,022
-2,15 -0,0215
-2,1 -0,021
-2,05 -0,0205
-2 -0,02
-1,95 -0,0195
-1,9 -0,019
-1,85 -0,0185
-1,8 -0,018
-1,75 -0,0175
-1,7 -0,017
-1,65 -0,0165
-1,6 -0,016
-1,55 -0,0155
-1,5 -0,015
-1,45 -0,0145
-1,4 -0,014
-1,35 -0,0135
-1,3 -0,013
-1,25 -0,0125
-1,2 -0,012
-1,15 -0,0115
-1,1 -0,011
-1,05 -0,0105
-1 -0,01
-0,95 -0,0095
-0,9 -0,009
-0,85 -0,0085
-0,8 -0,008
-0,75 -0,0075
-0,7 -0,007
-0,65 -0,0065
-0,6 -0,006
-0,55 -0,0055
-0,5 -0,005
-0,45 -0,0045
-0,4 -0,004
-0,35 -0,0035
-0,3 -0,003
-0,25 -0,0025
-0,2 -0,002
-0,15 -0,0015
-0,1 -0,001
-0,05 -0,0005
0 0
0,05 0,05
0,1 0,1
0,15 0,15
0,2 0,2
0,25 0,25
0,3 0,3
0,35 0,35
0,4 0,4
0,45 0,45
0,5 0,5
0,55 0,55
0,6 0,6
0,65 0,65
0,7 0,7
0,75 0,75
0,8 0,8
0,85 0,85
0,9 0,9
0,95 0,95
1 1

Signaler une erreur sur cette page

Qu'est-ce que la fonction d'activation Leaky ReLU ?

La Leaky ReLU (de l'anglais Leaky Rectified Linear Unit, soit « unité linéaire rectifiée avec fuite ») est une fonction d'activation très répandue dans les réseaux de neurones profonds. Comme la ReLU classique, elle laisse passer tels quels les signaux positifs ; mais au lieu d'écraser les entrées négatives à zéro, elle leur applique une légère pente non nulle, notée alpha. Un petit gradient continue ainsi de circuler pour les pré-activations négatives, ce qui permet d'éviter le problème du « ReLU mourant » (dying ReLU), où des neurones restent bloqués à zéro et cessent d'apprendre.

Graphe de la fonction d'activation Leaky ReLU sur les axes x et y
La courbe Leaky ReLU : une droite passant par l'origine, avec une faible pente pour les entrées négatives et une pente unitaire pour les entrées positives.

La formule

Pour une entrée \(x\) et une pente de fuite \(\alpha\), la sortie vaut $$f(x) = \begin{cases} x & \text{if } x > 0 \\[0.5em] \alpha \cdot x & \text{if } x \le 0 \end{cases}$$ La fuite par défaut est \(\alpha = 0{,}01\). Deux cas particuliers méritent d'être signalés : \(\alpha = 0\) redonne la ReLU classique (\(\max(0, x)\)), tandis qu'\(\alpha = 1\) ramène la fonction à la droite identité \(f(x) = x\).

Comment utiliser ce calculateur

Saisissez la valeur initiale de \(x\), le pas entre deux points, le nombre de points à générer et la pente de fuite \(\alpha\). L'outil construit la suite $$x_i = \text{startX} + i \cdot \text{stepX}, \quad i = 0, 1, \dots, \text{count} - 1$$ évalue \(f\) en chaque point, puis affiche les couples \((x, f(x))\) ainsi qu'un tracé de la courbe. Vous pouvez aussi saisir une seule valeur de \(x\) pour obtenir directement l'évaluation correspondante de \(f(x)\).

Publicité

Exemple détaillé

Avec \(\alpha = 0{,}01\) : en \(x = -4\), l'entrée est négative, donc \(f = 0{,}01 \times (-4) = -0{,}04\). En \(x = 0\), \(f = 0\). En \(x = 3\), l'entrée est positive, donc \(f = 3\). En reprenant les valeurs par défaut (\(\text{startX} = -4\), \(\text{stepX} = 0{,}05\), \(\text{count} = 101\)), le balayage va de \(x = -4\) (\(f = -0{,}04\)) jusqu'à \(x = +1{,}0\) (\(f = 1{,}0\)), en franchissant le zéro au 81ᵉ point (\(i = 80\)).

FAQ

En quoi la Leaky ReLU diffère-t-elle de la ReLU ? La ReLU renvoie exactement 0 pour toutes les entrées négatives ; la Leaky ReLU renvoie \(\alpha \cdot x\), une petite valeur négative, ce qui préserve un gradient.

Quelle valeur choisir pour alpha ? 0,01 est la valeur par défaut la plus courante. Des variantes comme la Parametric ReLU (PReLU) apprennent la valeur d'alpha pendant l'entraînement.

Alpha peut-il être négatif ? Mathématiquement oui, mais c'est inhabituel et déconseillé pour les réseaux classiques.

Dernière mise à jour:

Les plus populaires dans Mathématiques et statistiques

Voir toutes les calculatrices de Mathématiques et statistiques