Калькулятор второй производной сигмоидной функции

Введите расчет

Усиление a

x

Результатов

Вторая производная s''_a(x)

-0,057557

безразмерная величина

Сигмоида s_a(x)	0,622459
Первая производная s'_a(x)	0,235004
Вторая производная s''_a(x)	-0,057557

Что вычисляет этот калькулятор

Инструмент находит вторую производную логистической сигмоиды с параметром усиления — её обозначают \(\sigma''_a(x)\) — в точке \(x\) при выбранном значении усиления \(a\) (параметр наклона, который часто называют альфа). Логистическая сигмоида — одна из самых распространённых функций активации в нейронных сетях и статистических моделях, а её производные встречаются повсюду: от обучения на основе градиентов до анализа кривизны.

Формулы

Сигмоида с усилением \(a\) задаётся выражением $$\sigma_a(x) = \frac{1}{1+e^{-a\,x}}.$$ Её первая производная равна $$\sigma'_a(x) = a\,\sigma(1-\sigma),$$ а вторая производная — $$\sigma''_a(x) = a^{2}\,\sigma(1-\sigma)(1-2\sigma),$$ где \(\sigma = \sigma_a(x)\). Поскольку всё выражено через \(\sigma\), калькулятор сначала вычисляет \(\sigma\), а затем использует это значение для обеих производных. Знаменатель \(1 + e^{-a\,x}\) всегда положителен, поэтому деления на ноль здесь никогда не возникает.

The sigmoid (top), its first derivative (bell), and its second derivative (S-shaped wave crossing zero at the center).

Как пользоваться

Введите усиление \(a\) (по умолчанию 1) и точку вычисления \(x\) (по умолчанию 0,5), после чего вы получите значение сигмоиды, первую производную и главный результат — вторую производную. Чтобы найти точку перегиба, обратите внимание: \(\sigma''_a(x) = 0\) ровно там, где \(\sigma = 0{,}5\), а это происходит при \(x = 0\) при любом усилении.

Реклама

Разбор примера

При \(a = 1\) и \(x = 0{,}5\): \(e^{-0{,}5} = 0{,}606531\), значит $$\sigma = \frac{1}{1{,}606531} = 0{,}622459.$$ Далее \(1 - \sigma = 0{,}377541\) и $$\sigma' = 1 \cdot 0{,}622459 \cdot 0{,}377541 = 0{,}235004.$$ Наконец \(1 - 2\sigma = -0{,}244919\), откуда $$\sigma'' = 1 \cdot 0{,}235004 \cdot (-0{,}244919) = -0{,}057557.$$

Evaluating s''_a(x): the curve peaks, crosses zero at the sigmoid's center, then troughs.

Частые вопросы

За что отвечает усиление \(a\)? Оно определяет крутизну сигмоиды: чем больше \(a\), тем резче переход. При \(a = 0\) значение \(\sigma = 0{,}5\) во всех точках, поэтому обе производные обращаются в ноль.

Где вторая производная равна нулю? В точке \(x = 0\) — это точка перегиба, где сигмоида меняет выпуклость на вогнутость.

Насколько устойчивы вычисления? Вполне устойчивы: при отрицательном \(a\,x\) калькулятор использует эквивалентную форму \(\frac{e^{a\,x}}{1 + e^{a\,x}}\), чтобы избежать переполнения при возведении в степень.