Что считает этот калькулятор
Инструмент вычисляет первую производную логистической сигмоиды с параметром усиления (крутизны) a в заданной точке x. Сигмоида — одна из самых популярных функций активации в нейронных сетях и логистической регрессии, а её производная — именно то, что нужно алгоритму обратного распространения ошибки для обновления весов. В качестве бонуса калькулятор также выдаёт само значение сигмоиды и вторую производную в той же точке.
Как пользоваться
Укажите коэффициент усиления a (по умолчанию 1) и точку вычисления x (по умолчанию 0,5). Оба значения — обычные безразмерные действительные числа без единиц измерения. Нажмите «Рассчитать» — главным результатом станет первая производная, а ниже отобразятся значение сигмоиды и вторая производная.
Разбор формулы
Сигмоида задаётся как $$s_a(x) = \frac{1}{1 + e^{-a\cdot x}}.$$ Удобное свойство этой функции в том, что её производную можно выразить через само значение функции: $$s'_a(x) = a \cdot s_a(x) \cdot \bigl(1 - s_a(x)\bigr).$$ Вторая производная при этом равна $$s''_a(x) = a^2 \cdot s_a(x) \cdot \bigl(1 - s_a(x)\bigr) \cdot \bigl(1 - 2\cdot s_a(x)\bigr).$$ Поскольку выражение \(1 + e^{-a\cdot x}\) всегда положительно, функция определена при любых действительных a и x — деления на ноль здесь не возникает.
Пример расчёта
Пусть \(a = 1\) и \(x = 0{,}5\): тогда \(a\cdot x = 0{,}5\), отсюда \(e^{-0{,}5} \approx 0{,}60653\) и $$s = \frac{1}{1{,}60653} \approx 0{,}622459.$$ Далее $$s' = 1 \cdot 0{,}622459 \cdot (1 - 0{,}622459) \approx 0{,}235004,$$ а $$s'' = 0{,}235004 \cdot (1 - 2\cdot 0{,}622459) \approx -0{,}057557.$$
Частые вопросы
Где производная достигает максимума? При \(a > 0\) наклон максимален в точке \(x = 0\), где \(s = 0{,}5\), а производная равна \(a/4\).
Что происходит при a = 0? Сигмоида превращается в константу 0,5, поэтому и первая, и вторая производные равны 0.
Зачем нужен параметр усиления? Чем больше \(|a|\), тем круче переход (ближе к ступенчатой функции); чем меньше \(|a|\), тем он плавнее. Отрицательное a зеркально разворачивает кривую.
