Калькулятор производной функции Softsign

Калькулятор производной функции Softsign

Растущий AI Skill PRO

Введите расчет

Любое вещественное число (положительное, отрицательное или ноль)

Результаты

Первая производная Softsign
0,4444444444
phi'(x)
phi(x) 0,3333333333
phi'(x) 0,4444444444

Математическая формула

f′(x)=1(1+|x|)2f^{\prime}(x) = \frac{1}{\left(1 + \left|\text{x}\right|\right)^{2}}
Статистика использования

Реклама

Сообщить об ошибке на этой странице

Что такое функция Softsign?

Softsign — это гладкая функция активации, которую применяют в нейронных сетях. Она задаётся формулой \(\phi(x) = \frac{x}{1 + |x|}\) и отображает любое вещественное число в открытый интервал (−1, 1) — почти как гиперболический тангенс, но выходит на насыщение заметно медленнее. Именно благодаря такому мягкому насыщению Softsign помогает ослабить проблему затухающих градиентов при обучении модели. Этот калькулятор выдаёт сразу два результата: значение функции \(\phi(x)\) и, как основной результат, её первую производную \(\phi'(x)\).

Две наложенные друг на друга кривые на осях x-y: S-образная кривая, выполаживающаяся к горизонтальным асимптотам, и колоколообразная кривая с пиком в центре
Функция Softsign phi(x) = x/(1+|x|) (S-образная) и её производная phi'(x) = 1/(1+|x|)^2 (колоколообразная).

Как пользоваться калькулятором

Введите любое вещественное число x — положительное, отрицательное или ноль — и получите \(\phi'(x)\) (наклон кривой Softsign) вместе с \(\phi(x)\) (значение активации). Единиц измерения здесь нет: \(x\) — это просто безразмерное вещественное число. По умолчанию в поле подставлено значение \(x = 0{,}5\).

Разбираем формулу

Производная функции \(\phi(x) = \frac{x}{1 + |x|}\) равна $$\phi'(x) = \frac{1}{\left(1 + |x|\right)^{2}}$$ Поскольку знаменатель \((1 + |x|)\) всегда не меньше 1, производная всегда строго положительна и лежит в диапазоне (0, 1]. Своего максимума, равного 1, она достигает при \(x = 0\) — именно там кривая идёт круче всего. Чем больше \(|x|\), тем ближе \(\phi'(x)\) к нулю, что и отражает насыщение функции.

Реклама
Одна колоколообразная кривая с пиком 1 над началом координат, симметричная и убывающая к нулю по обе стороны
График производной phi'(x) = 1/(1+|x|)^2: он симметричен относительно x=0 и достигает максимума, равного 1, в начале координат.

Пример расчёта

Возьмём \(x = 0{,}5\): тогда \(|x| = 0{,}5\), а значит \(1 + |x| = 1{,}5\). Значение функции составит $$\phi(0{,}5) = \frac{0{,}5}{1{,}5} = 0{,}333333\ldots$$ а производная — $$\phi'(0{,}5) = \frac{1}{1{,}5^{2}} = \frac{1}{2{,}25} = 0{,}444444\ldots$$ Таким образом, в точке \(x = 0{,}5\) кривая Softsign даёт выход около 0,3333 и наклон около 0,4444.

Частые вопросы

Дифференцируема ли Softsign во всех точках? Да. Хотя у \(|x|\) есть излом в точке \(x = 0\), левая и правая производные \(\phi\) в этой точке совпадают и обе равны 1. Поэтому функция дифференцируема и в нуле, и во всех остальных точках.

Может ли производная быть отрицательной? Нет. Выражение \(\phi'(x) = \frac{1}{\left(1 + |x|\right)^{2}}\) всегда положительно, ведь это единица, делённая на квадрат положительного числа.

Чем Softsign отличается от tanh? Обе функции насыщаются в пределах (−1, 1), но у Softsign «хвосты» полиномиальные (\(1/x^2\)), а у tanh — экспоненциальные. Поэтому Softsign выходит на насыщение медленнее и сохраняет чуть большие градиенты вдали от нуля.

Последнее обновление:

Самые популярные в разделе Математика и статистика

Все калькуляторы раздела Математика и статистика