Qu'est-ce que la fonction Softsign ?
La fonction Softsign est une fonction d'activation employée dans les réseaux de neurones, définie par \(\varphi(x) = x / (1 + |x|)\). À l'image de la tangente hyperbolique (tanh), elle est lisse, présente une forme en S et reste bornée à l'intervalle ouvert (-1, 1). La différence essentielle tient à la manière dont elle approche ses asymptotes : la Softsign s'en rapproche de façon polynomiale (en \(1/|x|\)), là où tanh le fait de manière exponentielle. Cette saturation plus lente peut contribuer à atténuer le phénomène d'évanouissement du gradient dans certaines architectures.
Comment utiliser cette calculatrice
Renseignez trois valeurs : la valeur initiale de x (le x de la première ligne), le pas d'incrément (la valeur ajoutée à chaque ligne) et le nombre de répétitions (le nombre de lignes à générer). La calculatrice produit alors un tableau de x, de la Softsign \(\varphi(x)\) et de la dérivée première \(\varphi'(x)\) pour chaque point ; vous pouvez vous en servir pour tracer les courbes ou pour examiner des valeurs précises.
La formule expliquée
Pour chaque ligne, posons \(a = 1 + |x|\). On a alors
$$\varphi(x) = \frac{x}{a}, \qquad \varphi'(x) = \frac{1}{a^{2}}$$Comme \(|x|\) n'est jamais négatif, le dénominateur \(a\) vaut toujours au moins 1 : il n'y a donc aucune division par zéro, et la fonction est lisse partout. La fonction Softsign est impaire (\(\varphi(-x) = -\varphi(x)\)), tandis que sa dérivée est paire (\(\varphi'(-x) = \varphi'(x)\)). À l'origine, \(\varphi(0) = 0\) et \(\varphi'(0) = 1\).
Exemple détaillé
Pour \(x = -5\) : \(a = 1 + 5 = 6\), d'où
$$\varphi(-5) = \frac{-5}{6} = -0{,}8333333, \qquad \varphi'(-5) = \frac{1}{36} = 0{,}0277778$$Pour \(x = 1\) : \(a = 2\), d'où \(\varphi(1) = 0{,}5\) et \(\varphi'(1) = 0{,}25\). Pour \(x = 0\) : \(a = 1\), d'où \(\varphi(0) = 0\) et \(\varphi'(0) = 1\). Avec les valeurs par défaut (départ -5, pas 0,1, 101 lignes), le tableau balaie \(x\) de -5 à +5.
FAQ
Pourquoi la dérivée ne devient-elle jamais négative ? Parce que \(\varphi'(x) = 1/(1+|x|)^{2}\) est l'inverse d'un carré : elle est toujours strictement positive, ce qui signifie que la Softsign est strictement croissante.
En quoi la Softsign diffère-t-elle de tanh ? Toutes deux saturent vers une plage bornée, mais la Softsign sature plus progressivement (décroissance rationnelle) que tanh (décroissance exponentielle), ce qui maintient des gradients exploitables sur une plage d'entrées plus large.
Le pas peut-il être négatif ? Oui. Un pas négatif fait décroître le tableau ; un pas nul répète la même valeur de \(x\) à chaque ligne.
