์๋ ๋ค์๋ ์ง์๋?
์๋ ๋ค์๋ ์ง์(ํํ \(H\) ๋๋ \(H'\)๋ก ํ๊ธฐ)๋ ์ํํ์์ ์๋ฌผ๋ค์์ฑ์ ์ธก์ ํ ๋ ๊ฐ์ฅ ๋๋ฆฌ ์ฐ์ด๋ ์งํ์ ๋๋ค. ์ด ์ง์๋ ๊ตฐ์ง์ ๋ ๊ฐ์ง ์์๋ฅผ ํ๊บผ๋ฒ์ ๋ฐ์ํฉ๋๋ค. ๋ฐ๋ก ์ข ํ๋ถ๋(์ผ๋ง๋ ๋ค์ํ ์ข ์ด ์กด์ฌํ๋๊ฐ)์ ์ข ๊ท ๋ฑ๋(๊ฐ์ฒด๋ค์ด ๊ฐ ์ข ์ ์ผ๋ง๋ ๊ณ ๋ฅด๊ฒ ๋ถํฌํ๋๊ฐ)์ ๋๋ค. ์ฌ๋ฌ ์ข ์ด ๊ท ํ ์กํ ๋น์จ๋ก ์กด์ฌํ๋ ๊ตฐ์ง์ ๋์ ๊ฐ์ ๋ณด์ด๊ณ , ํน์ ํ ์ข ์ด ์๋์ ์ผ๋ก ๋ง์ ๊ตฐ์ง์ ๋ฎ์ ๊ฐ์ ๋ณด์ ๋๋ค.
๊ณ์ฐ๊ธฐ ์ฌ์ฉ ๋ฐฉ๋ฒ
๊ฐ ์ข
์์ ๊ด์ฐฐํ ๊ฐ์ฒด์๋ฅผ ์ผํ๋ก ๊ตฌ๋ถํด ์
๋ ฅํ์ธ์. ์๋ฅผ ๋ค๋ฉด 40, 30, 20, 10์ฒ๋ผ์. ๊ณ์ฐ๊ธฐ๋ ์ ์ฒด ๊ฐ์ฒด์๋ฅผ ๊ตฌํ ๋ค ๊ฐ ๊ฐ์ฒด์๋ฅผ ๋น์จ๋ก ํ์ฐํ๊ณ , ์๋ ๊ณต์์ ์ ์ฉํฉ๋๋ค. ๋ํ ์ข
์(\(S\)), ์ ์ฒด ๊ฐ์ฒด์(\(N\)), ๊ทธ๋ฆฌ๊ณ \(H\)๋ฅผ 0๊ณผ 1 ์ฌ์ด๋ก ํ์ฐํ ํผ์๋ฃจ ๊ท ๋ฑ๋(\(J\))๊น์ง ํจ๊ป ์๋ ค์ค๋๋ค.
๊ณต์ ํ์ด
๊ฐ ์ข \(i\)์ ๋น์จ์ \(p_i = n_i / N\)์ผ๋ก, \(n_i\)๋ ํด๋น ์ข ์ ๊ฐ์ฒด์์ด๊ณ \(N\)์ ์ ์ฒด ํฉ๊ณ์ ๋๋ค. ์ง์๋ ๋ค์๊ณผ ๊ฐ์ด ๊ณ์ฐ๋ฉ๋๋ค.
$$H = -\sum_{i=1}^{S} p_i \ln p_i$$์ด ๊ณ์ฐ๊ธฐ๋ ์์ฐ๋ก๊ทธ(\(\ln\))๋ฅผ ์ฌ์ฉํ๋ฏ๋ก \(H\)๋ "nat(๋ํธ)" ๋จ์๋ก ํํ๋ฉ๋๋ค. ๊ท ๋ฑ๋๋ \(J = H / \ln(S)\)๋ก ๊ตฌํฉ๋๋ค.
๊ณ์ฐ ์์
๋ค ์ข ์ ๊ฐ๊ฐ 40, 30, 20, 10๋ง๋ฆฌ(\(N = 100\)) ๊ด์ฐฐํ๋ค๊ณ ๊ฐ์ ํด ๋ด ์๋ค. ๋น์จ์ ๊ฐ๊ฐ 0.4, 0.3, 0.2, 0.1์ ๋๋ค. ๊ทธ๋ฌ๋ฉด $$H = -(0.4\cdot\ln 0.4 + 0.3\cdot\ln 0.3 + 0.2\cdot\ln 0.2 + 0.1\cdot\ln 0.1) \approx 1.2799$$๊ฐ ๋ฉ๋๋ค. ์ข ์ \(S = 4\)์ด๊ณ \(\ln(4) = 1.3863\)์ด๋ฏ๋ก ๊ท ๋ฑ๋ \(J \approx 0.923\)์ผ๋ก, ๋น๊ต์ ๊ณ ๋ฅด๊ฒ ๋ถํฌ๋ ๊ตฐ์ง์์ ์ ์ ์์ต๋๋ค.
์์ฃผ ๋ฌป๋ ์ง๋ฌธ
\(H\) ๊ฐ์ด ์ด๋ ์ ๋๋ฉด "์ข์" ๊ฑธ๊น์? ์ค์ ์ํ๊ณ์์ \(H\)๋ ๋ณดํต ์ฝ 1.5์์ 3.5 ์ฌ์ด์ ๋ถํฌํฉ๋๋ค. 3์ ๋์ผ๋ฉด ๋ค์์ฑ์ด ๋งค์ฐ ๋๋ค๋ ๋ป์ ๋๋ค. ๋ค๋ง ์ข ํ๋ถ๋์ ๋ฐ๋ผ ๋ฌ๋ผ์ง๊ธฐ ๋๋ฌธ์ ๊ณ ์ ๋ ์ต๋๊ฐ์ ์์ต๋๋ค.
\(\ln\)๊ณผ \(\log_{10}\) ์ค ์ด๋ ๊ฒ์ ์จ์ผ ํ๋์? ํ์ ๋ฌธํ์์๋ ๋ ๊ฐ์ง ๋ชจ๋ ์ฌ์ฉ๋ฉ๋๋ค. ์ด ๋๊ตฌ๋ ๊ฐ์ฅ ์ผ๋ฐ์ ์ธ ๊ด๋ก์ธ ์์ฐ๋ก๊ทธ(\(\ln\))๋ฅผ ์ฌ์ฉํฉ๋๋ค. ๋ก๊ทธ์ ๋ฐ์ด ๋ค๋ฅด๋ฉด ๊ฒฐ๊ณผ๋ ์ผ์ ํ ์์๋ฐฐ๋งํผ ์ฐจ์ด๊ฐ ๋ฉ๋๋ค.
๊ท ๋ฑ๋๋ ๋ฌด์์ ์๋ ค์ฃผ๋์? ํผ์๋ฃจ ๊ท ๋ฑ๋ \(J\)๋ 0์์ 1 ์ฌ์ด์ ๊ฐ์ ๊ฐ์ง๋๋ค. 1์ ๊ฐ๊น์ธ์๋ก ๊ฐ์ฒด๋ค์ด ๊ฐ ์ข ์ ๊ฑฐ์ ๊ณ ๋ฅด๊ฒ ๋ถํฌํ๋ค๋ ๋ป์ด๊ณ , ๊ฐ์ด ๋ฎ์ผ๋ฉด ์์์ ์ข ์ด ๊ตฐ์ง์ ์ง๋ฐฐํ๊ณ ์๋ค๋ ์ ํธ์ ๋๋ค.