이 계산기의 기능
이 도구는 게인(기울기 정도)을 나타내는 매개변수 a가 적용된 로지스틱 시그모이드 함수의 1차 도함수를 점 x에서 계산합니다. 시그모이드는 신경망과 로지스틱 회귀에서 가장 널리 쓰이는 활성화 함수 중 하나이며, 그 도함수는 역전파(backpropagation)에서 가중치를 갱신할 때 반드시 필요한 값입니다. 더불어 이 계산기는 같은 점에서의 시그모이드 값 자체와 2차 도함수도 함께 알려줍니다.
사용 방법
게인 a(기본값 1)와 계산할 점 x(기본값 0.5)를 입력하세요. 두 값 모두 단위가 없는 순수한 실수입니다. 계산 버튼을 누르면 1차 도함수가 주요 결과로 표시되고, 그 아래에 시그모이드 값과 2차 도함수가 나타납니다.
공식 풀이
시그모이드 함수는 $$s_a(x) = \frac{1}{1 + e^{-a x}}$$ 로 정의됩니다. 한 가지 편리한 성질은 도함수를 함수 자신의 출력값만으로 표현할 수 있다는 점입니다: $$s'_a(x) = a \cdot s_a(x) \cdot \bigl(1 - s_a(x)\bigr).$$ 2차 도함수도 이어서 $$s''_a(x) = a^2 \cdot s_a(x) \cdot \bigl(1 - s_a(x)\bigr) \cdot \bigl(1 - 2 s_a(x)\bigr)$$ 로 구할 수 있습니다. \(1 + e^{-a x}\)는 항상 양수이므로, 이 함수는 모든 실수 a와 x에 대해 정의되며 0으로 나누는 경우가 발생하지 않습니다.
계산 예시
a = 1, x = 0.5인 경우: \(a \cdot x = 0.5\)이므로 \(e^{-0.5} \approx 0.60653\), \(s = \frac{1}{1.60653} \approx 0.622459\)가 됩니다. 따라서 $$s' = 1 \cdot 0.622459 \cdot (1 - 0.622459) \approx 0.235004$$ 이고, $$s'' = 0.235004 \cdot (1 - 2 \cdot 0.622459) \approx -0.057557$$ 입니다.
자주 묻는 질문
도함수는 어디에서 최댓값에 도달하나요? a > 0일 때 기울기는 \(x = 0\)에서 가장 커지며, 이때 \(s = 0.5\)이고 도함수 값은 \(a/4\)입니다.
a = 0이면 어떻게 되나요? 시그모이드는 상수 0.5로 수렴하므로 1차 도함수와 2차 도함수가 모두 0이 됩니다.
게인 매개변수는 왜 사용하나요? \(|a|\)가 클수록 전환이 가팔라져(계단 함수에 가까워짐) 반응이 급격해지고, \(|a|\)가 작을수록 완만해집니다. a가 음수이면 곡선이 위아래로 뒤집힙니다.
