Qu'est-ce que la fonction Softsign ?
La fonction Softsign est une fonction d'activation lisse employée dans les réseaux de neurones, définie par \(\phi(x) = x / (1 + |x|)\). Elle ramène tout réel en entrée dans l'intervalle ouvert (-1, 1), à la manière de la tangente hyperbolique, mais elle atteint ses limites de saturation plus lentement. Cette saturation plus douce contribue à atténuer le problème de la disparition du gradient lors de l'apprentissage. Ce calculateur fournit à la fois la valeur de la fonction \(\phi(x)\) et, comme résultat principal, sa dérivée première \(\phi'(x)\).
Comment utiliser ce calculateur
Saisissez n'importe quel réel pour x — positif, négatif ou nul — et lisez \(\phi'(x)\) (la pente de la courbe Softsign) ainsi que \(\phi(x)\) (la sortie d'activation). Aucune unité n'intervient : x est un réel pur, sans dimension. La valeur par défaut est x = 0,5.
La formule expliquée
La dérivée de \(\phi(x) = x / (1 + |x|)\) est $$\phi'(x) = \frac{1}{\left(1 + \left|x\right|\right)^{2}}$$ Comme le dénominateur \((1 + |x|)\) vaut toujours au moins 1, la dérivée est toujours strictement positive et appartient à l'intervalle (0, 1]. Sa valeur maximale, égale à 1, est atteinte en x = 0, là où la fonction est la plus raide. Lorsque |x| devient grand, \(\phi'(x)\) tend vers 0, ce qui traduit la saturation de la fonction.
Exemple détaillé
Pour x = 0,5 : \(|x| = 0{,}5\), donc \(1 + |x| = 1{,}5\). La valeur de la fonction est $$\phi(0{,}5) = \frac{0{,}5}{1{,}5} = 0{,}333333\ldots$$ et la dérivée vaut $$\phi'(0{,}5) = \frac{1}{1{,}5^{2}} = \frac{1}{2{,}25} = 0{,}444444\ldots$$ La courbe Softsign en x = 0,5 présente donc une sortie proche de 0,3333 et une pente voisine de 0,4444.
FAQ
La fonction Softsign est-elle dérivable partout ? Oui. Même si |x| présente un point anguleux en x = 0, les dérivées à gauche et à droite de \(\phi\) y valent toutes deux 1 ; \(\phi\) est donc dérivable en 0 comme partout ailleurs.
La dérivée peut-elle être négative ? Non. \(\phi'(x) = \frac{1}{\left(1 + \left|x\right|\right)^{2}}\) est toujours positive, puisqu'il s'agit de 1 divisé par un nombre positif élevé au carré.
Comment Softsign se compare-t-elle à tanh ? Les deux saturent vers (-1, 1), mais Softsign utilise des queues polynomiales (en \(1/x^2\)) plutôt que les queues exponentielles de tanh : elle sature donc plus lentement et conserve des gradients un peu plus importants loin de zéro.
