시그모이드 함수란?
시그모이드(로지스틱) 함수는 임의의 실수를 부드러운 S자 곡선을 따라 (0, 1)의 열린 구간으로 압축해 주는 함수입니다. \(\sigma(x) = 1 / (1 + e^{-a\cdot x})\)로 정의되며, 신경망에서 가장 널리 쓰이는 활성화 함수 중 하나이자 로지스틱 회귀, 확률 모델링, 성장 곡선 등에서 빠지지 않고 등장합니다. 기울기 계수 \(a\)는 전이가 얼마나 가파른지를 결정합니다. \(a = 1\)이면 교과서에 나오는 전형적인 시그모이드가 되고, \(a\) 값이 커질수록 전이 구간이 좁아져 점차 계단 함수에 가까워집니다.
계산기 사용 방법
먼저 기울기 \(a\)를 입력한 뒤, 함수를 평가할 구간인 x 최솟값, x 최댓값, x 증분(스텝)을 지정합니다. 계산기는 각 스텝마다 \(\sigma(x)\)와 1차 도함수 \(\sigma'(x)\), 2차 도함수 \(\sigma''(x)\)를 정리한 표를 만들어 주며, 선택적으로 입력한 단일 x 지점의 값도 함께 표시합니다. 스텝은 0보다 커야 하고 x 최댓값은 x 최솟값 이상이어야 합니다. 그렇지 않으면 표에 어떤 행도 생성되지 않습니다.
수식 풀어보기
도함수는 \(\sigma\) 자체를 이용해 쓰면 특히 깔끔한 형태가 됩니다. 미분하면 $$\sigma'(x) = a \cdot \sigma(x) \cdot (1 - \sigma(x))$$ 가 되는데, 이 값은 항상 양수이므로(곡선이 단조 증가) \(\sigma\)는 \(x = 0\)의 변곡점에서 최댓값 \(a/4\)에 도달합니다. 2차 도함수 $$\sigma''(x) = a^{2} \cdot \sigma(x) \cdot (1 - \sigma(x)) \cdot (1 - 2\cdot\sigma(x))$$ 는 \(\sigma = 0.5\)가 되는 \(x = 0\)에서 부호가 바뀌며, 이 지점이 변곡점임을 다시 확인시켜 줍니다.
예제로 살펴보기
\(a = 1\), \(x = 2\)로 두겠습니다. \(e^{-2} = 0.135335\)이므로 $$\sigma(2) = 1 / 1.135335 = 0.880797$$ 이 됩니다. 1차 도함수는 \(0.880797 \cdot (1 - 0.880797) = 0.104994\)입니다. 2차 도함수는 \(0.104994 \cdot (1 - 2\cdot 0.880797) = 0.104994 \cdot (-0.761594) = -0.079963\)입니다. \(x = 0\)에서는 \(\sigma = 0.5\), \(\sigma' = 0.25\), \(\sigma'' = 0\)이 됩니다.
시그모이드와 그 도함수의 기준값 (a = 1)
표준 로지스틱 함수 \(\sigma(x)=\frac{1}{1+e^{-x}}\)에 대해 도함수는 \(\sigma'(x)=\sigma(x)\,(1-\sigma(x))\)이고 \(\sigma''(x)=\sigma(x)\,(1-\sigma(x))\,(1-2\sigma(x))\)입니다. 값은 소수점 여섯 자리로 반올림했습니다.
| x | σ(x) | σ′(x) | σ″(x) |
|---|---|---|---|
| -6 | 0.002473 | 0.002467 | 0.002454 |
| -4 | 0.017986 | 0.017663 | 0.017028 |
| -3 | 0.047426 | 0.045177 | 0.040892 |
| -2 | 0.119203 | 0.104994 | 0.079963 |
| -1 | 0.268941 | 0.196612 | 0.090858 |
| 0 | 0.500000 | 0.250000 | 0.000000 |
| 1 | 0.731059 | 0.196612 | -0.090858 |
| 2 | 0.880797 | 0.104994 | -0.079963 |
| 3 | 0.952574 | 0.045177 | -0.040892 |
| 4 | 0.982014 | 0.017663 | -0.017028 |
| 6 | 0.997527 | 0.002467 | -0.002454 |
대칭성
- \(\sigma(-x)=1-\sigma(x)\): 곡선은 (0, 0.5)를 중심으로 점대칭입니다.
- \(\sigma'(-x)=\sigma'(x)\): 첫 번째 도함수는 짝함수(종 모양 곡선)입니다.
- \(\sigma''(-x)=-\sigma''(x)\): 두 번째 도함수는 홀함수입니다.
게인 a가 곡선에 미치는 영향
게인 \(a\)는 입력을 배율 조정합니다: \(\sigma(x)=\frac{1}{1+e^{-ax}}\), \(\sigma'(x)=a\,\sigma(1-\sigma)\), \(\sigma''(x)=a^2\,\sigma(1-\sigma)(1-2\sigma)\). 표는 x = 1에서 각 게인의 값을 계산한 것입니다.
| 게인 a | σ(1) | σ′(1) | σ″(1) | 최대 기울기 a/4 (x = 0에서) | σ가 0.1과 0.9 사이인 범위 |
|---|---|---|---|---|---|
| 0.5 | 0.622459 | 0.117502 | -0.014389 | 0.125 | |x| < 4.394 |
| 1 | 0.731059 | 0.196612 | -0.090858 | 0.25 | |x| < 2.197 |
| 2 | 0.880797 | 0.209987 | -0.319851 | 0.5 | |x| < 1.099 |
| 5 | 0.993307 | 0.033240 | -0.163975 | 1.25 | |x| < 0.439 |
최대 기울기는 \(\sigma'(0)=a/4\)입니다. \(\sigma=0.1\)과 \(\sigma=0.9\)는 \(ax=\mp\ln 9\)인 곳에서 나타나므로, 전이 구간은 대략 \(|x|<\frac{\ln 9}{a}\approx\frac{2.197}{a}\)입니다. 게인이 클수록 전이가 가파르고 좁아지며, 게인이 작을수록 완만하고 넓어집니다. x = 1에서 a = 5일 때의 두 번째 도함수 크기는 a = 2일 때보다 작은데, 이는 그 지점에서 곡선이 이미 포화되기 시작했기 때문입니다.
시그모이드와 도함수 값의 해석
σ(x): 유계의 확률과 유사한 출력
시그모이드는 임의의 실수 입력을 열린 구간 (0, 1)로 보내며, σ(0) = 0.5입니다. 이 때문에 로지스틱 회귀, 신경망의 활성화 함수, 성장 및 포화 모델에 사용됩니다. 0.88 같은 값은 확률과 유사한 점수로 읽을 수 있지만, 모델이 그런 방식으로 적합된 경우에만 실제로 보정된 확률이 됩니다.
σ′(x): 민감도 또는 기울기
첫 번째 도함수는 x의 단위 변화당 출력이 얼마나 빠르게 변하는지를 나타냅니다. 항상 양수이며, x = 0에서 \(a/4\)로 최고점을 찍고, 양쪽 꼬리에서는 0으로 떨어집니다. \(|a\,x|\)가 약 5를 넘으면 σ′은 대략 0.0066·a보다 작아지며, 이때 함수는 포화 상태여서 입력의 큰 변화도 출력을 거의 바꾸지 못합니다. 경사 기반 학습에서 이것이 기울기 소실 현상이며, 도함수가 매우 작으면 가중치 갱신이 미미해지기 때문입니다.
σ″(x): 곡률
- x < 0이면 σ″ > 0: 곡선은 위로 볼록(위로 휘어짐)하며, 기울기는 여전히 증가합니다.
- x = 0이면 σ″ = 0: 기울기가 최대가 되는 변곡점입니다.
- x > 0이면 σ″ < 0: 곡선은 아래로 볼록(아래로 휘어짐)하며, 기울기는 감소합니다.
σ″의 극값은 \(\sigma=\frac{1}{2}\pm\frac{1}{2\sqrt{3}}\)인 곳, 즉 \(x=\pm\frac{\ln(2+\sqrt{3})}{a}\approx\pm\frac{1.317}{a}\)에서 나타납니다. 이 지점들은 기울기가 가장 빠르게 변하는 곳입니다.
자주 묻는 질문
기울기 \(a\)는 어떤 역할을 하나요? 입력값의 크기를 조절합니다. \(a\)가 클수록 \(x = 0\) 부근에서 곡선이 더 빠르게 상승하며, \(a\)가 무한히 커지면 시그모이드는 급격한 계단에 가까워집니다. 반대로 \(a = 0\)이면 0.5에서 평평한 직선이 됩니다.
가장 가파른 지점은 어디인가요? 언제나 \(x = 0\)입니다. 이 지점에서 기울기는 \(a/4\)와 같고 2차 도함수는 0이 됩니다.
출력값이 정확히 0이나 1이 되지 않는 이유는? 지수항은 유한한 \(x\)에서는 결코 0에 도달하지 않으므로 \(\sigma\)는 항상 (0, 1) 구간 안에 머뭅니다. \(|a\cdot x|\)가 극단적으로 큰 경우 수치적으로는 0 또는 1로 반올림되는데, 이 계산기는 이런 상황도 안전하게 처리합니다.