이 계산기의 기능
이 도구는 게인 파라미터 a를 갖는 로지스틱 시그모이드의 2차 도함수, 즉 \(\sigma''_a(x)\)를 특정 지점 \(x\)와 선택한 게인 \(a\)에서 계산합니다. 여기서 게인 \(a\)는 기울기를 결정하는 파라미터로, 흔히 알파(alpha)라고도 부릅니다. 로지스틱 시그모이드는 신경망과 통계 모델에서 가장 널리 쓰이는 활성화 함수 중 하나이며, 그 도함수는 경사 기반 학습이나 곡률 분석 전반에서 자주 등장합니다.
핵심 공식
게인 \(a\)를 적용한 시그모이드는 다음과 같이 정의됩니다.
$$\sigma_a(x) = \frac{1}{1+e^{-a\,x}}$$
1차 도함수는 다음과 같습니다.
$$\sigma'_a(x) = a\,\sigma\,(1-\sigma)$$
2차 도함수는 다음과 같습니다.
$$\sigma''_a(x) = a^{2}\,\sigma\,(1-\sigma)(1-2\sigma)$$
여기서 \(\sigma = \sigma_a(x)\)를 뜻합니다. 모든 식이 \(\sigma\)를 기준으로 표현되므로, 계산기는 먼저 \(\sigma\)를 구한 뒤 이를 재활용해 두 도함수를 한 번에 계산합니다. 분모 \(1 + e^{-a\,x}\)는 항상 양수이므로 0으로 나누는 문제는 발생하지 않습니다.
사용 방법
게인 \(a\)(기본값 1)와 계산 지점 \(x\)(기본값 0.5)를 입력하면 시그모이드 값, 1차 도함수, 그리고 핵심 결과인 2차 도함수를 확인할 수 있습니다. 변곡점을 찾고 싶다면, \(\sigma''_a(x) = 0\)이 되는 지점이 정확히 \(\sigma = 0.5\)인 곳이라는 점을 기억하세요. 이는 게인 값과 관계없이 항상 \(x = 0\)에서 일어납니다.
계산 예시
\(a = 1\), \(x = 0.5\)인 경우: \(e^{-0.5} = 0.606531\) 이므로 $$\sigma = \frac{1}{1.606531} = 0.622459$$ 입니다. 이어서 \(1 - \sigma = 0.377541\) 이고 $$\sigma' = 1 \cdot 0.622459 \cdot 0.377541 = 0.235004$$ 가 됩니다. 마지막으로 \(1 - 2\sigma = -0.244919\) 이므로 $$\sigma'' = 1 \cdot 0.235004 \cdot (-0.244919) = -0.057557$$ 입니다.
자주 묻는 질문
게인 \(a\)는 어떤 역할을 하나요? 게인 \(a\)는 시그모이드의 기울기 가파른 정도를 조절합니다. \(a\)가 클수록 전환이 더 급격해집니다. \(a = 0\)으로 두면 모든 지점에서 \(\sigma = 0.5\)가 되어 두 도함수 모두 0이 됩니다.
2차 도함수가 0이 되는 곳은 어디인가요? 변곡점인 \(x = 0\)에서 0이 되며, 이 지점에서 시그모이드는 볼록(convex)에서 오목(concave)으로 전환됩니다.
수치적으로 안정적인가요? 네. \(a\,x\)가 음수일 때는 지수 오버플로를 막기 위해 동등한 형태인 \(\dfrac{e^{a\,x}}{1 + e^{a\,x}}\)를 사용합니다.
