Qu'est-ce que la fonction d'activation ReLU ?
ReLU, abréviation de Rectified Linear Unit (unité de rectification linéaire), est l'une des fonctions d'activation les plus répandues dans l'apprentissage profond et les réseaux de neurones modernes. Elle se définit par \(f(x) = \max(0,\ x)\) : elle laisse passer telles quelles les entrées positives et ramène à 0 les entrées négatives (ainsi que zéro). Cette règle toute simple introduit de la non-linéarité dans un réseau tout en restant extrêmement peu coûteuse à calculer — c'est pourquoi elle équipe aujourd'hui la majorité des couches convolutives et entièrement connectées.
Comment utiliser ce calculateur
Saisissez n'importe quel nombre réel dans le champ x et le calculateur renvoie \(f(x) = \text{ReLU}(x)\). Les valeurs négatives, nulles ou positives sont toutes acceptées. Le résultat est égal à \(x\) lorsque \(x\) est strictement supérieur à 0, et vaut 0 lorsque \(x\) est nul ou négatif. Le calculateur indique également la dérivée conventionnelle : 1 pour les entrées positives, 0 sinon.
La formule expliquée
La fonction ReLU se définit par morceaux : \(f(x) = x\) si \(x > 0\), et \(f(x) = 0\) si \(x \le 0\). Son domaine de définition couvre l'ensemble des réels \((-\infty,\ +\infty)\) et son image est \([0,\ +\infty)\). ReLU est continue partout, mais sa dérivée n'est techniquement pas définie exactement en \(x = 0\) ; par convention, on la fixe à 0 en ce point, ce qui donne \(f'(x) = 0\) pour \(x \le 0\) et \(f'(x) = 1\) pour \(x > 0\). Comme aucune division n'intervient, il n'y a aucun cas particulier à surveiller.
Exemple concret
Supposons \(x = -3{,}2\). Alors $$f(x) = \max(0,\ -3{,}2) = 0,$$ puisque \(-3{,}2\) est négatif. Si en revanche \(x = 7\), alors $$f(x) = \max(0,\ 7) = 7.$$ Pour la valeur par défaut \(x = 0{,}5\), on obtient $$f(x) = \max(0,\ 0{,}5) = 0{,}5.$$
Questions fréquentes
Pourquoi ReLU est-elle si populaire ? Elle évite le problème de la disparition du gradient qui pénalise les fonctions sigmoïde et tanh pour les grandes entrées, et son calcul est trivial — une simple comparaison avec zéro.
Que se passe-t-il en \(x = 0\) ? La valeur de la fonction est 0, et la dérivée est conventionnellement prise égale à 0.
Quelle est la différence entre ReLU, Sigmoïde et Softmax ? La sigmoïde comprime les valeurs dans l'intervalle \((0,\ 1)\) et Softmax produit une distribution de probabilité sur un vecteur, tandis que ReLU se contente de rectifier une valeur unique pour la rendre non négative.
