Что такое сигмоида?
Сигмоида, или логистическая функция, плавно «сжимает» любое вещественное число в открытый интервал (0, 1), образуя характерную S-образную кривую. Она задаётся формулой \(\sigma(x) = \frac{1}{1 + e^{-\text{a}\,x}}\) и является одной из самых популярных функций активации в нейронных сетях, а также основой логистической регрессии, моделей вероятностей и кривых роста. Параметр усиления a определяет крутизну перехода: при a = 1 получается классическая «учебная» сигмоида, а при больших значениях a переход сужается и кривая приближается к ступенчатой функции.
Как пользоваться калькулятором
Введите коэффициент усиления a, а затем диапазон, на котором нужно вычислить функцию: минимальное x, максимальное x и шаг по x (приращение). Инструмент построит таблицу значений \(\sigma(x)\), её первой производной \(\sigma'(x)\) и второй производной \(\sigma''(x)\) в каждой точке шага, а также покажет значения в отдельной точке x, если вы её укажете (поле необязательное). Убедитесь, что шаг больше нуля, а максимальное x не меньше минимального, иначе таблица останется пустой.
Разбор формул
Производные записываются особенно изящно, если выразить их через саму σ. Дифференцирование даёт $$\sigma'(x) = \text{a}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)$$ эта величина всегда положительна (кривая монотонно возрастает) и достигает максимума \(\frac{\text{a}}{4}\) в точке перегиба \(x = 0\). Вторая производная $$\sigma''(x) = \text{a}^{2}\,\sigma(x)\bigl(1 - \sigma(x)\bigr)\bigl(1 - 2\,\sigma(x)\bigr)$$ меняет знак при \(x = 0\), где \(\sigma = 0{,}5\), что и подтверждает наличие точки перегиба.
Пример расчёта
Возьмём \(\text{a} = 1\) и \(x = 2\). Тогда \(e^{-2} = 0{,}135335\), поэтому $$\sigma(2) = \frac{1}{1{,}135335} = 0{,}880797$$ Первая производная равна $$0{,}880797 \cdot (1 - 0{,}880797) = 0{,}104994$$ Вторая производная: $$0{,}104994 \cdot (1 - 2 \cdot 0{,}880797) = 0{,}104994 \cdot (-0{,}761594) = -0{,}079963$$ В точке \(x = 0\) значения таковы: \(\sigma = 0{,}5\), \(\sigma' = 0{,}25\) и \(\sigma'' = 0\).
Частые вопросы
Что делает коэффициент усиления a? Он масштабирует входное значение. Чем больше a, тем быстрее кривая поднимается вблизи \(x = 0\); при росте a сигмоида приближается к резкой ступеньке, а при \(\text{a} = 0\) превращается в горизонтальную линию на уровне 0,5.
Где находится самая крутая точка? Всегда при \(x = 0\): там наклон равен \(\frac{\text{a}}{4}\), а вторая производная обращается в ноль.
Почему результат никогда не равен ровно 0 или 1? Экспонента не достигает нуля при конечном x, поэтому σ всегда строго лежит внутри (0, 1). При очень больших значениях \(|\text{a}\,x|\) результат численно округляется до 0 или 1 — этот случай калькулятор обрабатывает корректно.
Справочные значения сигмоиды и её производных (a = 1)
Для стандартной логистической функции \(\sigma(x)=\frac{1}{1+e^{-x}}\) производные равны \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\) и \(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\). Значения округлены до 6 знаков после запятой.
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
Симметрия
- \(\sigma(-x)=1-\sigma(x)\): кривая центрально-симметрична относительно точки (0, 0.5).
- \(\sigma'(-x)=\sigma'(x)\): первая производная является чётной функцией (колоколообразная кривая).
- \(\sigma''(-x)=-\sigma''(x)\): вторая производная является нечётной функцией.
Влияние коэффициента усиления a на кривую
Коэффициент усиления \(a\) масштабирует входное значение: \(\sigma(x)=\frac{1}{1+e^{-ax}}\), \(\sigma'(x)=a\,\sigma(1-\sigma)\), \(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\). В таблице каждое значение усиления рассчитано при x = 1.
| Усиление a | σ(1) | σ′(1) | σ″(1) | Максимальный наклон a/4 (при x = 0) | σ между 0.1 и 0.9 |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
Максимальный наклон равен \(\sigma'(0)=a/4\). Поскольку \(\sigma=0.1\) и \(\sigma=0.9\) достигаются при \(ax=\mp\ln 9\), переходная зона примерно равна \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\). Большее усиление даёт более крутой и узкий переход, меньшее — более пологий и широкий. Обратите внимание, что при x = 1 вторая производная для a = 5 по модулю меньше, чем для a = 2, поскольку кривая здесь уже начала насыщаться.
Интерпретация значений сигмоиды и её производной
σ(x): ограниченный выход, похожий на вероятность
Сигмоида отображает любое действительное входное значение в открытый интервал (0, 1), при этом σ(0) = 0.5. Поэтому её используют в логистической регрессии, активациях нейронных сетей и моделях роста или насыщения. Значение вроде 0.88 можно интерпретировать как оценку, похожую на вероятность, однако это будет действительно откалиброванная вероятность только в том случае, если модель обучалась именно так.
σ′(x): чувствительность или градиент
Первая производная показывает, насколько быстро меняется выход при единичном изменении x. Она всегда положительна, достигает максимума \(a/4\) при x = 0 и убывает к 0 на обоих хвостах. Когда \(|a\,x|\) превышает примерно 5, σ′ становится меньше примерно 0.0066·a, и функция находится в состоянии насыщения: большие изменения входа почти не меняют выход. При обучении на основе градиента это проявляется как эффект затухающего градиента, поскольку очень малые производные делают обновления весов крайне незначительными.
σ″(x): кривизна
- При x < 0 σ″ > 0: кривая выпукла (изгибается вверх), и наклон всё ещё возрастает.
- При x = 0 σ″ = 0: это точка перегиба, где наклон максимален.
- При x > 0 σ″ < 0: кривая вогнута (изгибается вниз), и наклон убывает.
Экстремальные значения σ″ достигаются там, где \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\), то есть при \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\). Это точки, в которых наклон меняется быстрее всего.