섀넌 엔트로피란?
섀넌 엔트로피는 확률 분포에 담긴 평균적인 불확실성, 즉 정보량을 나타내는 지표입니다. 1948년 클로드 섀넌(Claude Shannon)이 제시한 개념으로 정보 이론의 토대가 되었으며, 데이터 압축, 암호학, 머신러닝, 통계 등 다양한 분야에서 폭넓게 활용됩니다. 어떤 결과가 반드시 일어난다고 정해진 분포는 엔트로피가 0이고, 여러 결과가 동일한 확률로 나타나는 균등 분포는 가능한 최대 엔트로피를 가집니다.
계산기 사용법
각 결과의 확률을 쉼표로 구분해 입력하세요. 예를 들어 0.5, 0.25, 0.25처럼 적으면 됩니다. 로그의 밑은 원하는 단위에 맞게 선택합니다. 밑이 2이면 비트(bit), 밑이 e이면 내트(nat), 밑이 10이면 디트(dit, 하틀리) 단위로 결과가 나옵니다. 입력한 확률의 합이 정확히 1이 아니더라도, 계산기가 전체 합으로 나누어 자동으로 정규화해 줍니다. 0 이하의 값은 계산에서 제외됩니다.
공식 풀이
엔트로피는 다음 식으로 계산합니다.
$$H = -\sum_{i} p_i \, \log_{b} p_i \qquad p_i = \frac{\text{Value}_i}{\sum_j \text{Value}_j}$$각 확률은 \(-p_i \log_{b} p_i\)만큼 기여하며, 이 값들을 모두 더한 뒤 부호를 바꾸면 항상 0 이상의 값이 나옵니다. \(n\)개의 결과에 대한 최대 엔트로피는 \(\log_{b}(n)\)이며, 모든 결과가 동일한 확률을 가질 때 달성됩니다. 효율은 실제 엔트로피가 이 최댓값의 몇 퍼센트인지를 나타냅니다.
계산 예시
확률이 0.5, 0.25, 0.25이고 단위가 비트인 경우를 살펴보겠습니다. 각 항은 \(-0.5 \cdot \log_2(0.5) = 0.5\), \(-0.25 \cdot \log_2(0.25) = 0.5\), 그리고 다시 0.5입니다. 이를 모두 더하면 \(H = 1.5\) 비트가 됩니다. 결과가 3개일 때의 최댓값은 \(\log_2(3) \approx 1.585\) 비트이므로, 효율은 약 94.64%입니다.
자주 묻는 질문
확실히 일어나는 사건의 엔트로피가 왜 0인가요? 어떤 결과가 확률 1로 정해져 있다면 불확실성이 전혀 없습니다. 따라서 그 사건이 실제로 일어나도 새로 얻는 정보가 없으므로 엔트로피는 0입니다.
비트와 내트는 어떻게 다른가요? 둘은 로그의 밑에 따라 정해지는 단위 차이일 뿐입니다. 1 내트 ≈ 1.4427 비트입니다.
확률의 합이 꼭 1이어야 하나요? 원칙적으로는 1이 되어야 하지만, 합이 1이 아니더라도 이 계산기가 자동으로 정규화해 줍니다.
