Qu'est-ce que la fonction sigmoïde ?
La fonction sigmoïde, ou logistique, ramène n'importe quel nombre réel dans l'intervalle ouvert (0, 1) en dessinant une courbe lisse en forme de S. Définie par \(\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}\), c'est l'une des fonctions d'activation les plus utilisées dans les réseaux de neurones, et un grand classique de la régression logistique, de la modélisation de probabilités et des courbes de croissance. Le paramètre de gain \(\text{a}\) règle la raideur de la transition : avec \(\text{a} = 1\), on retrouve la sigmoïde « canonique » des manuels, tandis que des valeurs de \(\text{a}\) plus élevées resserrent la transition jusqu'à la rapprocher d'une fonction en escalier.
Comment utiliser ce calculateur
Saisissez le gain \(\text{a}\), puis la plage sur laquelle vous souhaitez évaluer la fonction : x minimum, x maximum et le pas (incrément). L'outil construit un tableau de \(\sigma(x)\), de sa dérivée première \(\sigma^{\prime}(x)\) et de sa dérivée seconde \(\sigma^{\prime\prime}(x)\) à chaque pas, et affiche les valeurs ponctuelles pour le x facultatif que vous renseignez. Veillez à ce que le pas soit strictement supérieur à zéro et que le x maximum soit au moins égal au x minimum, faute de quoi aucune ligne ne sera générée.
Les formules expliquées
Les dérivées prennent une forme particulièrement élégante lorsqu'on les exprime à partir de \(\sigma\) elle-même. En dérivant, on obtient $$\sigma^{\prime}(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ toujours positive (la courbe est strictement croissante), qui atteint sa valeur maximale \(\frac{\text{a}}{4}\) au point d'inflexion \(x = 0\). La dérivée seconde, $$\sigma^{\prime\prime}(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ change de signe en \(x = 0\), là où \(\sigma = 0{,}5\), ce qui confirme la présence du point d'inflexion.
Exemple détaillé
Prenons \(\text{a} = 1\) et \(x = 2\). On a \(e^{-2} = 0{,}135335\), donc $$\sigma(2) = \frac{1}{1{,}135335} = 0{,}880797$$ La dérivée première vaut \(0{,}880797 \cdot (1 - 0{,}880797) = 0{,}104994\). La dérivée seconde donne \(0{,}104994 \cdot (1 - 2\cdot 0{,}880797) = 0{,}104994 \cdot (-0{,}761594) = -0{,}079963\). En \(x = 0\), les valeurs sont \(\sigma = 0{,}5\), \(\sigma^{\prime} = 0{,}25\) et \(\sigma^{\prime\prime} = 0\).
Valeurs de référence de la sigmoïde et de ses dérivées (a = 1)
Pour la fonction logistique standard \(\sigma(x)=\frac{1}{1+e^{-x}}\), les dérivées sont \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\) et \(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\). Les valeurs sont arrondies à 6 décimales.
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
Symétrie
- \(\sigma(-x)=1-\sigma(x)\) : la courbe est symétrique par rapport au point (0, 0,5).
- \(\sigma'(-x)=\sigma'(x)\) : la dérivée première est une fonction paire (une courbe en forme de cloche).
- \(\sigma''(-x)=-\sigma''(x)\) : la dérivée seconde est une fonction impaire.
Effet du gain a sur la courbe
Le gain \(a\) met à l'échelle l'entrée : \(\sigma(x)=\frac{1}{1+e^{-ax}}\), \(\sigma'(x)=a\,\sigma(1-\sigma)\), \(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\). Le tableau évalue chaque gain en x = 1.
| Gain a | σ(1) | σ′(1) | σ″(1) | Pente maximale a/4 (en x = 0) | σ entre 0,1 et 0,9 |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
La pente maximale est \(\sigma'(0)=a/4\). Comme \(\sigma=0.1\) et \(\sigma=0.9\) se produisent lorsque \(ax=\mp\ln 9\), la bande de transition est approximativement \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\). Un gain plus grand donne une transition plus raide et plus étroite ; un gain plus petit donne une transition plus douce et plus large. Notez qu'en x = 1, la dérivée seconde pour a = 5 est plus petite en valeur absolue que pour a = 2, car la courbe a déjà commencé à saturer à cet endroit.
Interpréter les valeurs de la sigmoïde et de sa dérivée
σ(x) : une sortie bornée, de type probabilité
La sigmoïde associe à toute entrée réelle l'intervalle ouvert (0, 1), avec σ(0) = 0,5. C'est pourquoi elle est utilisée dans la régression logistique, les fonctions d'activation des réseaux de neurones et les modèles de croissance ou de saturation. Une valeur comme 0,88 peut être lue comme un score de type probabilité, mais ce n'est une probabilité calibrée au sens strict que si le modèle a été ajusté dans ce but.
σ′(x) : sensibilité ou gradient
La dérivée première indique à quelle vitesse la sortie varie pour une variation unitaire de x. Elle est toujours positive, atteint son maximum \(a/4\) lorsque x = 0, et tend vers 0 dans les deux queues. Lorsque \(|a\,x|\) dépasse environ 5, σ′ est inférieure à environ 0,0066·a, la fonction est donc saturée : de grandes variations de l'entrée modifient à peine la sortie. Dans l'entraînement par descente de gradient, c'est l'effet de disparition du gradient, car des dérivées très petites rendent les mises à jour des poids minimes.
σ″(x) : courbure
- Pour x < 0, σ″ > 0 : la courbe est convexe (incurvée vers le haut), et la pente augmente encore.
- En x = 0, σ″ = 0 : c'est le point d'inflexion, où la pente est à son maximum.
- Pour x > 0, σ″ < 0 : la courbe est concave (incurvée vers le bas), et la pente diminue.
Les valeurs extrêmes de σ″ se produisent lorsque \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\), c'est-à-dire en \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\). Ce sont les points où la pente change le plus rapidement.
FAQ
À quoi sert le gain \(\text{a}\) ? Il met l'entrée à l'échelle. Plus \(\text{a}\) est grand, plus la courbe monte vite autour de \(x = 0\) ; lorsque \(\text{a}\) augmente, la sigmoïde se rapproche d'une marche brutale, tandis que \(\text{a} = 0\) donne une droite plate à 0,5.
Où se situe le point le plus raide ? Toujours en \(x = 0\), où la pente vaut \(\frac{\text{a}}{4}\) et où la dérivée seconde est nulle.
Pourquoi le résultat n'est-il jamais exactement 0 ou 1 ? L'exponentielle n'atteint jamais zéro pour un x fini, donc \(\sigma\) reste strictement à l'intérieur de (0, 1). Pour des valeurs de \(|\text{a}\cdot x|\) très grandes, le résultat est arrondi numériquement à 0 ou 1, ce que ce calculateur gère sans problème.