소프트사인 함수란?
소프트사인(Softsign) 함수는 인공신경망에서 쓰이는 매끄러운 활성화 함수로, \(\phi(x) = \frac{x}{1 + |x|}\) 로 정의됩니다. 모든 실수 입력을 (-1, 1) 사이의 열린 구간으로 변환한다는 점에서 하이퍼볼릭 탄젠트(tanh)와 비슷하지만, 포화(saturation) 한계에 더 천천히 다가갑니다. 이처럼 완만하게 포화되는 특성은 학습 과정에서 기울기 소실(vanishing gradient) 문제를 줄이는 데 도움이 될 수 있습니다. 이 계산기는 함숫값 \(\phi(x)\)와 함께, 주된 결과로 1차 도함수 \(\phi'(x)\)를 함께 보여줍니다.
계산기 사용법
양수, 음수, 0 등 임의의 실수를 x에 입력하면, 소프트사인 곡선의 기울기인 \(\phi'(x)\)와 활성화 출력값인 \(\phi(x)\)를 바로 확인할 수 있습니다. 별도의 단위는 없으며, x는 차원이 없는 순수한 실수입니다. 기본 입력값은 \(x = 0.5\) 입니다.
공식 풀이
\(\phi(x) = \frac{x}{1 + |x|}\) 의 도함수는 다음과 같습니다.
$$\phi'(x) = \frac{1}{\left(1 + \left|x\right|\right)^{2}}$$분모 (1 + |x|)는 항상 1 이상이므로, 도함수는 언제나 양수이며 (0, 1] 구간에 놓입니다. 최댓값 1은 함수가 가장 가파른 \(x = 0\) 에서 나타납니다. \(|x|\)가 커질수록 \(\phi'(x)\)는 0에 가까워지는데, 이는 함수의 포화 특성을 잘 보여줍니다.
계산 예시
\(x = 0.5\) 인 경우: \(|x| = 0.5\) 이므로 \(1 + |x| = 1.5\) 입니다. 함숫값은 다음과 같습니다.
$$\phi(0.5) = \frac{0.5}{1.5} = 0.333333\ldots$$도함수는 다음과 같습니다.
$$\phi'(0.5) = \frac{1}{1.5^{2}} = \frac{1}{2.25} = 0.444444\ldots$$즉, \(x = 0.5\) 에서 소프트사인 곡선의 출력은 약 0.3333, 기울기는 약 0.4444 가 됩니다.
자주 묻는 질문
소프트사인은 모든 구간에서 미분 가능한가요? 네. \(|x|\)는 \(x = 0\) 에서 꺾이는 지점이 있지만, 이 지점에서 \(\phi\)의 좌·우 미분계수가 모두 1로 같습니다. 따라서 \(\phi\)는 \(x = 0\) 을 포함한 모든 점에서 미분 가능합니다.
도함수가 음수가 될 수도 있나요? 아니요. \(\phi'(x) = \frac{1}{(1 + |x|)^2}\) 는 양수를 제곱한 값으로 1을 나눈 형태이므로 항상 양수입니다.
소프트사인과 tanh는 어떻게 다른가요? 둘 다 (-1, 1) 범위로 포화되지만, 소프트사인은 tanh의 지수 함수 꼬리 대신 다항식(\(1/x^2\)) 형태의 꼬리를 사용합니다. 그래서 더 천천히 포화되고, 0에서 멀리 떨어진 곳에서도 조금 더 큰 기울기를 유지합니다.
