소프트플러스 함수 1차 도함수 계산기 (시그모이드)

결과

소프트플러스의 1차 도함수

0.622459

phi'(x) at x = 0.5

입력값 x	0.5
공식	phi'(x) = 1 / (1 + e^(-x))
범위	0 < phi'(x) < 1

소프트플러스 1차 도함수 계산기란?

이 도구는 임의의 실수 입력값 x에서 소프트플러스(Softplus) 활성화 함수의 1차 도함수를 계산합니다. $\phi(x) = \ln(1 + e^{x})$로 정의되는 소프트플러스 함수는 신경망에서 널리 쓰이는 ReLU(Rectified Linear Unit, 정류 선형 유닛) 함수를 매끄럽게 근사한 미분 가능한 함수입니다. 그 도함수가 정확히 로지스틱 시그모이드 함수와 일치하기 때문에, 경사 기반 학습에서 특히 다루기 편리합니다.

사용 방법

도함수를 구하고 싶은 x 값을 입력한 뒤 실행하세요. 계산기는 항상 0과 1 사이에 엄격히 놓이는 값 $\phi'(x)$를 반환합니다. 입력이 양수이면 결과가 1에 가까워지고, 음수이면 0에 가까워지며, 정확히 0이면 0.5가 됩니다.

공식 설명

소프트플러스 함수를 미분하면 다음과 같습니다:

$$\frac{d}{dx}\ln\!\left(1 + e^{x}\right) = \frac{e^{x}}{1 + e^{x}} = \frac{1}{1 + e^{-x}}.$$

이것이 바로 로지스틱 시그모이드 $\sigma(x)$입니다. 수치적 안정성을 유지하기 위해, 계산기는 $x \ge 0$일 때 $\frac{1}{1 + e^{-x}}$를 사용하고 $x < 0$일 때 이와 동등한 $\frac{e^{x}}{1 + e^{x}}$를 사용하여, 절댓값이 큰 입력에서 지수 함수가 오버플로하는 것을 방지합니다.

같은 축에 그린 소프트플러스 함수와 시그모이드 형태의 1차 도함수 — 소프트플러스 곡선(위로 솟는 하키스틱 모양)과 그 1차 도함수인 S자형 시그모이드.

계산 예시

$x = 0.5$라고 하면, $e^{-0.5} = 0.6065306597$이므로 $1 + e^{-0.5} = 1.6065306597$입니다. 따라서 $$\phi'(0.5) = \frac{1}{1.6065306597} = 0.622459$$가 됩니다. 입력이 살짝 양수이기 때문에 도함수 값이 0.5보다 약간 큽니다.