섀넌 엔트로피란?
섀넌 엔트로피는 어떤 확률 변수가 담고 있는 평균적인 불확실성, 즉 '놀라움'이나 정보의 양을 수치로 나타낸 값입니다. 1948년 클로드 섀넌(Claude Shannon)이 처음 제시했으며, 정보 이론(information theory)의 출발점이 된 개념입니다. 밑이 2인 로그를 사용하면 단위는 비트(bit)가 되며, 엔트로피 1비트는 공정한 동전 한 번을 던질 때의 불확실성과 같습니다.
계산기 사용 방법
가능한 결과(사건)별 확률을 쉼표나 공백으로 구분해 입력하세요(예: 0.5, 0.25, 0.25). 확률 대신 빈도수나 개수(예: 10, 5, 5)를 그대로 넣어도 됩니다. 이 경우 각 값을 전체 합으로 나누어 자동으로 확률로 환산합니다. 0이나 음수 값은 무시됩니다. 계산기는 엔트로피(비트), 가능한 최대 엔트로피, 그리고 분포의 효율을 함께 보여줍니다.
공식 풀이
엔트로피는 모든 결과 i에 대해 다음과 같이 계산합니다:
$$H = -\sum_{i=1}^{n} p_i \log_2 p_i \qquad p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$각 항은 해당 결과의 정보량 \(-\log_2 p_i\)에 발생 확률 \(p_i\)를 가중치로 곱한 것입니다. 드물게 일어나는 사건일수록 더 많은 정보를 담고, 반드시 일어나는 사건(\(p_i = 1\))은 정보량이 0입니다. 결과가 \(n\)개일 때 최대 엔트로피는 \(\log_2(n)\)이며, 모든 결과의 발생 확률이 똑같을 때 달성됩니다. 효율은 \(H\)가 이 최대값의 몇 퍼센트인지를 나타냅니다.
예제로 따라하기
분포 {0.5, 0.25, 0.25}를 생각해 봅시다. 엔트로피는 다음과 같습니다:
$$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = 1.5\,\text{비트}$$결과가 3개일 때 최대 엔트로피는 \(\log_2(3) \approx 1.585\) 비트이므로, 효율은 약 94.64%가 됩니다.
자주 묻는 질문(FAQ)
왜 비트 단위인가요? 밑이 2인 로그를 쓰면 엔트로피가 비트로 표현되는데, 이는 디지털 정보의 가장 자연스러운 단위입니다. 밑이 e이면 '내트(nat)', 밑이 10이면 '하틀리(hartley)'가 됩니다.
확률의 합이 꼭 1이어야 하나요? 아닙니다. 계산기가 모든 양수 값을 자동으로 정규화하므로, 가공하지 않은 빈도수를 그대로 붙여넣어도 됩니다.
최대 엔트로피는 얼마인가요? 발생 확률이 똑같은 결과 \(n\)개의 경우 \(\log_2(n)\)입니다. 공정한 동전(\(n=2\))의 최대 엔트로피는 1비트, 공정한 주사위(\(n=6\))는 약 2.585비트입니다.
