계산 입력

결과

섀넌 엔트로피

1.5

비트

결과 개수	3
최대 엔트로피 (log2 n)	1.585 bits
효율 (H / Hmax)	94.64%

섀넌 엔트로피란?

섀넌 엔트로피는 어떤 확률 변수가 담고 있는 평균적인 불확실성, 즉 '놀라움'이나 정보의 양을 수치로 나타낸 값입니다. 1948년 클로드 섀넌(Claude Shannon)이 처음 제시했으며, 정보 이론(information theory)의 출발점이 된 개념입니다. 밑이 2인 로그를 사용하면 단위는 비트(bit)가 되며, 엔트로피 1비트는 공정한 동전 한 번을 던질 때의 불확실성과 같습니다.

엔트로피 수준이 다른 확률 분포의 막대그래프 세 개 — 엔트로피는 균등 분포에서 가장 크고, 한 결과가 지배적일 때 가장 작습니다.

계산기 사용 방법

가능한 결과(사건)별 확률을 쉼표나 공백으로 구분해 입력하세요(예: 0.5, 0.25, 0.25). 확률 대신 빈도수나 개수(예: 10, 5, 5)를 그대로 넣어도 됩니다. 이 경우 각 값을 전체 합으로 나누어 자동으로 확률로 환산합니다. 0이나 음수 값은 무시됩니다. 계산기는 엔트로피(비트), 가능한 최대 엔트로피, 그리고 분포의 효율을 함께 보여줍니다.

공식 풀이

엔트로피는 모든 결과 i에 대해 다음과 같이 계산합니다:

$$H = -\sum_{i=1}^{n} p_i \log_2 p_i \qquad p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$

각 항은 해당 결과의 정보량 $-\log_2 p_i$에 발생 확률 $p_i$를 가중치로 곱한 것입니다. 드물게 일어나는 사건일수록 더 많은 정보를 담고, 반드시 일어나는 사건($p_i = 1$)은 정보량이 0입니다. 결과가 $n$개일 때 최대 엔트로피는 $\log_2(n)$이며, 모든 결과의 발생 확률이 똑같을 때 달성됩니다. 효율은 $H$가 이 최대값의 몇 퍼센트인지를 나타냅니다.

확률 대비 이진 엔트로피 곡선으로 2분의 1에서 최댓값 — 두 결과의 경우 엔트로피는 p = 0.5에서 1비트로 최대가 되고 양 극단에서 0으로 떨어집니다.

예제로 따라하기

분포 {0.5, 0.25, 0.25}를 생각해 봅시다. 엔트로피는 다음과 같습니다:

$$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = 1.5\,\text{비트}$$

결과가 3개일 때 최대 엔트로피는 $\log_2(3) \approx 1.585$ 비트이므로, 효율은 약 94.64%가 됩니다.

자주 묻는 질문(FAQ)

왜 비트 단위인가요? 밑이 2인 로그를 쓰면 엔트로피가 비트로 표현되는데, 이는 디지털 정보의 가장 자연스러운 단위입니다. 밑이 e이면 '내트(nat)', 밑이 10이면 '하틀리(hartley)'가 됩니다.

확률의 합이 꼭 1이어야 하나요? 아닙니다. 계산기가 모든 양수 값을 자동으로 정규화하므로, 가공하지 않은 빈도수를 그대로 붙여넣어도 됩니다.

최대 엔트로피는 얼마인가요? 발생 확률이 똑같은 결과 $n$개의 경우 $\log_2(n)$입니다. 공정한 동전($n=2$)의 최대 엔트로피는 1비트, 공정한 주사위($n=6$)는 약 2.585비트입니다.

섀넌 엔트로피 계산기