소프트맥스 함수란?
소프트맥스(softmax) 함수는 K개의 실수로 이루어진 벡터를 확률 분포로 변환합니다. 변환된 각 출력값은 0과 1 사이의 값을 가지며, K개 출력값을 모두 더하면 정확히 1이 됩니다. 소프트맥스는 신경망 분류 모델의 출력층에서 표준적으로 사용되는 활성화 함수로, 모델이 산출한 원시 점수(로짓, logit)를 각 클래스에 대한 확률로 바꿔 줍니다. 또한 무차원(dimensionless) 함수이기 때문에 입력값은 단위가 없는 순수한 숫자입니다.
계산기 사용 방법
입력란에 벡터를 쉼표, 공백, 또는 줄바꿈으로 구분된 숫자 목록 형태로 입력하세요(예: 1, 2, 3). 숫자는 양수, 음수, 0, 소수 모두 가능합니다. 계산 버튼을 누르면 각 성분의 소프트맥스 확률값, 출력값의 합계(1이 되어야 합니다), 그리고 가장 큰 확률을 가진 성분의 위치를 나타내는 argmax(1부터 시작하는 인덱스)를 확인할 수 있습니다.
공식 자세히 알아보기
각 성분 \(j\)에 대한 소프트맥스는 $$\sigma(z)_j = \frac{e^{z_j}}{\sum_{k} e^{z_k}}$$ 로 정의됩니다. 지수 함수를 취하면 모든 항이 양수가 되고, 전체 합으로 나누어 정규화하면 합계가 1이 됩니다. 이 계산기는 수치적 안정성을 위해 지수를 취하기 전에 모든 원소에서 최댓값 \(m\)을 먼저 뺍니다: $$\sigma(z)_j = \frac{e^{z_j - m}}{\sum_{k} e^{z_k - m}}.$$ 공통 인수인 \(e^{-m}\)이 약분되므로 결과는 동일하게 유지되면서, 큰 입력값에서 발생할 수 있는 오버플로(overflow)를 방지할 수 있습니다.
계산 예시
\(z = (1, 2, 3)\)인 경우: \(e^{1} = 2.71828\), \(e^{2} = 7.38906\), \(e^{3} = 20.08554\)이며, 이들의 합은 \(30.19287\)입니다. 각 항을 합으로 나누면 \(\sigma = (0.09003, 0.24473, 0.66524)\)가 되고, 이 값들의 합은 \(1\)입니다. argmax는 가장 큰 입력값에 해당하는 인덱스 \(3\)이며, 그 확률은 \(0.66524\)입니다.
서로 다른 입력 벡터에 대한 소프트맥스 출력
표는 여러 입력 벡터에 대해 \(\sigma(\mathbf{x})_i = e^{x_i - \max(\mathbf{x})} / \sum_j e^{x_j - \max(\mathbf{x})}\) 로 계산한 소프트맥스 출력을 보여 줍니다. 값은 소수점 넷째 자리에서 반올림했으며, 출력값의 합은 항상 1입니다.
| 입력 벡터 | 소프트맥스 출력 | 최댓값 위치(argmax) | 설명 |
|---|---|---|---|
| (1, 1, 1) | 0.3333, 0.3333, 0.3333 | 동점(모두 같음) | 입력값이 모두 같으면 각각 1/3인 균등 분포가 됩니다. |
| (1, 2, 3) | 0.0900, 0.2447, 0.6652 | 3번째 | 입력값 사이의 간격이 1이면 출력이 다소 뚜렷한 편입니다. |
| (-1, 0, 1) | 0.0900, 0.2447, 0.6652 | 3번째 | (1, 2, 3)과 같은 벡터를 2만큼 이동한 것이므로 결과가 동일합니다. |
| (0, 0, 5) | 0.0066, 0.0066, 0.9867 | 3번째 | 하나의 큰 입력값이 지배적이며, 같은 두 입력값은 나머지를 똑같이 나눕니다. |
| (2, 4, 6) | 0.0159, 0.1173, 0.8668 | 3번째 | (1, 2, 3)에 2를 곱한 벡터이며 출력이 더 뚜렷합니다. |
| (10, 20, 30) | ≈0.0000 (2.06×10-9), ≈0.0000 (4.54×10-5), 1.0000 (0.99995) | 3번째 | 거의 원-핫(one-hot)에 가깝습니다. 최댓값 빼기 기법은 큰 입력값에서 오버플로를 방지합니다. |
스케일링 효과: 모든 입력에 1보다 큰 인수를 곱하면 입력값 사이의 간격이 넓어져, 가장 큰 값의 확률이 높아지고 분포가 뚜렷해집니다. 순위(argmax)는 절대 바뀌지 않습니다. 0과 1 사이의 인수를 곱하면 분포가 균등 분포 쪽으로 평평해집니다.
자주 묻는 질문
출력값의 합은 왜 항상 1이 되나요? 각 지수값을 모든 지수값의 합으로 나누어 정규화하기 때문에, 합계는 반드시 1이 됩니다.
모든 입력값이 같으면 어떻게 되나요? 결과는 균등 분포가 되어, 모든 출력값이 \(1/K\)로 동일해집니다.
모든 입력값에 같은 상수를 더하면 결과가 달라지나요? 아니요. 소프트맥스는 평행 이동 불변(shift-invariant)이라서, 모든 입력값에 같은 상수 \(c\)를 더해도 출력값은 변하지 않습니다. 바로 이 성질 덕분에 최댓값을 빼는 처리가 안전하게 적용될 수 있습니다.