Qu'est-ce que la fonction d'activation ReLU ?
L'unité linéaire rectifiée, ou ReLU (de l'anglais « Rectified Linear Unit »), est l'une des fonctions d'activation les plus répandues dans les réseaux de neurones modernes. Elle se définit par \(f(x) = \max(0, x)\) : pour toute entrée positive, elle renvoie la valeur inchangée, et pour toute entrée négative, elle renvoie zéro. Cette règle linéaire par morceaux, d'une grande simplicité, introduit une non-linéarité dans le réseau tout en restant extrêmement rapide à calculer et facile à dériver.
Comment utiliser ce calculateur
Saisissez trois valeurs : la valeur initiale de x (le point de départ du balayage), le pas (de combien x varie à chaque itération) et le nombre de répétitions (le nombre de points à générer). L'outil évalue la fonction ReLU pour chaque valeur de x, construit un tableau de données complet (x, f(x)) et trace un graphique en ligne illustrant la forme caractéristique « plate puis croissante », avec son coude à l'origine.
La formule expliquée
ReLU s'écrit \(f(x) = \max(0, x)\), ce qui équivaut à « x si x > 0, sinon 0 ». Le balayage est généré par la règle $$x_k = \text{startX} + k \cdot \text{stepX}$$ pour \(k\) allant de 0 à itérations - 1 ; la dernière valeur de x (endX) vaut donc \(\text{startX} + (\text{itérations} - 1) \cdot \text{stepX}\). La fonction reste plate à zéro sur toutes les entrées négatives, puis croît avec une pente constante de 1 pour les entrées positives.
Exemple concret
Avec les valeurs par défaut startX = -5, stepX = 0,1 et itérations = 101, le balayage couvre x de -5 jusqu'à \(-5 + 100 \cdot 0{,}1 = +5\), sur 101 points inclus. En x = -2,0, \(f = \max(0,\ -2{,}0) = 0\). En x = 0, \(f = 0\). En x = 0,1, \(f = 0{,}1\). En x = 2,5, \(f = 2{,}5\). En x = 5,0, \(f = 5{,}0\). La courbe tracée reste à zéro sur toute la plage négative, puis monte linéairement jusqu'au point (5, 5).
FAQ
La fonction ReLU est-elle dérivable en zéro ? Non. ReLU présente un coude (un point anguleux) en x = 0 : elle n'y est donc pas dérivable. Sa dérivée vaut 0 pour x < 0 et 1 pour x > 0 ; par convention, on prend souvent la dérivée en 0 égale à 0.
Le pas peut-il être négatif ? Oui. Un pas négatif fait décroître x au fil du balayage. Un pas nul rend toutes les valeurs de x égales à la valeur de départ (une colonne constante dégénérée).
Pourquoi ReLU est-elle si populaire ? Elle évite le problème de disparition du gradient propre aux fonctions sigmoïde et tangente hyperbolique pour les entrées positives, son calcul est trivial et elle tend à produire des activations parcimonieuses, ce qui accélère souvent l'entraînement.
