MCP๋กœ ์—ฐ๊ฒฐ โ†’

๊ณ„์‚ฐ ์ž…๋ ฅ

๊ฐ ์ข…์˜ ๊ฐœ์ฒด์ˆ˜๋ฅผ ์‰ผํ‘œ๋กœ ๊ตฌ๋ถ„ํ•ด ์ž…๋ ฅํ•˜์„ธ์š”.

๊ณต์‹

๊ณต์‹: ์„€๋„Œ ๋‹ค์–‘๋„ ์ง€์ˆ˜ ๊ณ„์‚ฐ๊ธฐ

๊ด‘๊ณ 

๊ฒฐ๊ณผ

์„€๋„Œ ๋‹ค์–‘๋„ ์ง€์ˆ˜ (H)
1.2799
์ž์—ฐ๋กœ๊ทธ (nat ๋‹จ์œ„)
์ข… ์ˆ˜ (S) 4
์ „์ฒด ๊ฐœ์ฒด์ˆ˜ (N) 100
ํ”ผ์—˜๋ฃจ ๊ท ๋“ฑ๋„ (J = H/ln S) 0.9232

์„€๋„Œ ๋‹ค์–‘๋„ ์ง€์ˆ˜๋ž€?

์„€๋„Œ ๋‹ค์–‘๋„ ์ง€์ˆ˜(ํ”ํžˆ \(H\) ๋˜๋Š” \(H'\)๋กœ ํ‘œ๊ธฐ)๋Š” ์ƒํƒœํ•™์—์„œ ์ƒ๋ฌผ๋‹ค์–‘์„ฑ์„ ์ธก์ •ํ•  ๋•Œ ๊ฐ€์žฅ ๋„๋ฆฌ ์“ฐ์ด๋Š” ์ง€ํ‘œ์ž…๋‹ˆ๋‹ค. ์ด ์ง€์ˆ˜๋Š” ๊ตฐ์ง‘์˜ ๋‘ ๊ฐ€์ง€ ์š”์†Œ๋ฅผ ํ•œ๊บผ๋ฒˆ์— ๋ฐ˜์˜ํ•ฉ๋‹ˆ๋‹ค. ๋ฐ”๋กœ ์ข… ํ’๋ถ€๋„(์–ผ๋งˆ๋‚˜ ๋‹ค์–‘ํ•œ ์ข…์ด ์กด์žฌํ•˜๋Š”๊ฐ€)์™€ ์ข… ๊ท ๋“ฑ๋„(๊ฐœ์ฒด๋“ค์ด ๊ฐ ์ข…์— ์–ผ๋งˆ๋‚˜ ๊ณ ๋ฅด๊ฒŒ ๋ถ„ํฌํ•˜๋Š”๊ฐ€)์ž…๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ์ข…์ด ๊ท ํ˜• ์žกํžŒ ๋น„์œจ๋กœ ์กด์žฌํ•˜๋Š” ๊ตฐ์ง‘์€ ๋†’์€ ๊ฐ’์„ ๋ณด์ด๊ณ , ํŠน์ • ํ•œ ์ข…์ด ์••๋„์ ์œผ๋กœ ๋งŽ์€ ๊ตฐ์ง‘์€ ๋‚ฎ์€ ๊ฐ’์„ ๋ณด์ž…๋‹ˆ๋‹ค.

๋‚ฎ์€ ์ข… ๋‹ค์–‘์„ฑ๊ณผ ๋†’์€ ์ข… ๋‹ค์–‘์„ฑ์„ ๋ณด์—ฌ์ฃผ๋Š” ์ƒ‰์ƒ‰์˜ ๋„ํ˜• ๋‘ ๊ตฐ์ง‘
๋‚ฎ์€ ๋‹ค์–‘์„ฑ(ํ•œ ์ข…์ด ์šฐ์ )๊ณผ ๋†’์€ ๋‹ค์–‘์„ฑ(์ข…์ด ๊ณ ๋ฅด๊ฒŒ ๋ถ„ํฌ)์˜ ๋น„๊ต.

๊ณ„์‚ฐ๊ธฐ ์‚ฌ์šฉ ๋ฐฉ๋ฒ•

๊ฐ ์ข…์—์„œ ๊ด€์ฐฐํ•œ ๊ฐœ์ฒด์ˆ˜๋ฅผ ์‰ผํ‘œ๋กœ ๊ตฌ๋ถ„ํ•ด ์ž…๋ ฅํ•˜์„ธ์š”. ์˜ˆ๋ฅผ ๋“ค๋ฉด 40, 30, 20, 10์ฒ˜๋Ÿผ์š”. ๊ณ„์‚ฐ๊ธฐ๋Š” ์ „์ฒด ๊ฐœ์ฒด์ˆ˜๋ฅผ ๊ตฌํ•œ ๋’ค ๊ฐ ๊ฐœ์ฒด์ˆ˜๋ฅผ ๋น„์œจ๋กœ ํ™˜์‚ฐํ•˜๊ณ , ์„€๋„Œ ๊ณต์‹์„ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋˜ํ•œ ์ข… ์ˆ˜(\(S\)), ์ „์ฒด ๊ฐœ์ฒด์ˆ˜(\(N\)), ๊ทธ๋ฆฌ๊ณ  \(H\)๋ฅผ 0๊ณผ 1 ์‚ฌ์ด๋กœ ํ™˜์‚ฐํ•œ ํ”ผ์—˜๋ฃจ ๊ท ๋“ฑ๋„(\(J\))๊นŒ์ง€ ํ•จ๊ป˜ ์•Œ๋ ค์ค๋‹ˆ๋‹ค.

๊ณต์‹ ํ’€์ด

๊ฐ ์ข… \(i\)์˜ ๋น„์œจ์€ \(p_i = n_i / N\)์œผ๋กœ, \(n_i\)๋Š” ํ•ด๋‹น ์ข…์˜ ๊ฐœ์ฒด์ˆ˜์ด๊ณ  \(N\)์€ ์ „์ฒด ํ•ฉ๊ณ„์ž…๋‹ˆ๋‹ค. ์ง€์ˆ˜๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๊ณ„์‚ฐ๋ฉ๋‹ˆ๋‹ค.

$$H = -\sum_{i=1}^{S} p_i \ln p_i$$

์ด ๊ณ„์‚ฐ๊ธฐ๋Š” ์ž์—ฐ๋กœ๊ทธ(\(\ln\))๋ฅผ ์‚ฌ์šฉํ•˜๋ฏ€๋กœ \(H\)๋Š” "nat(๋‚˜ํŠธ)" ๋‹จ์œ„๋กœ ํ‘œํ˜„๋ฉ๋‹ˆ๋‹ค. ๊ท ๋“ฑ๋„๋Š” \(J = H / \ln(S)\)๋กœ ๊ตฌํ•ฉ๋‹ˆ๋‹ค.

๊ฐ ์ข…์˜ ๋น„์œจ๊ณผ ์„€๋„Œ ์ง€์ˆ˜ ํ•ฉ์‚ฐ์„ ๋ณด์—ฌ์ฃผ๋Š” ๋‹ค์ด์–ด๊ทธ๋žจ
๊ฐ ์ข…์˜ ๋น„์œจ \(p_i\)๋Š” ํ•ฉ \(H\)์— \(-p_i \ln(p_i)\)๋งŒํผ ๊ธฐ์—ฌํ•œ๋‹ค.

๊ณ„์‚ฐ ์˜ˆ์‹œ

๋„ค ์ข…์„ ๊ฐ๊ฐ 40, 30, 20, 10๋งˆ๋ฆฌ(\(N = 100\)) ๊ด€์ฐฐํ–ˆ๋‹ค๊ณ  ๊ฐ€์ •ํ•ด ๋ด…์‹œ๋‹ค. ๋น„์œจ์€ ๊ฐ๊ฐ 0.4, 0.3, 0.2, 0.1์ž…๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋ฉด $$H = -(0.4\cdot\ln 0.4 + 0.3\cdot\ln 0.3 + 0.2\cdot\ln 0.2 + 0.1\cdot\ln 0.1) \approx 1.2799$$๊ฐ€ ๋ฉ๋‹ˆ๋‹ค. ์ข… ์ˆ˜ \(S = 4\)์ด๊ณ  \(\ln(4) = 1.3863\)์ด๋ฏ€๋กœ ๊ท ๋“ฑ๋„ \(J \approx 0.923\)์œผ๋กœ, ๋น„๊ต์  ๊ณ ๋ฅด๊ฒŒ ๋ถ„ํฌ๋œ ๊ตฐ์ง‘์ž„์„ ์•Œ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ž์ฃผ ๋ฌป๋Š” ์งˆ๋ฌธ

\(H\) ๊ฐ’์ด ์–ด๋А ์ •๋„๋ฉด "์ข‹์€" ๊ฑธ๊นŒ์š”? ์‹ค์ œ ์ƒํƒœ๊ณ„์—์„œ \(H\)๋Š” ๋ณดํ†ต ์•ฝ 1.5์—์„œ 3.5 ์‚ฌ์ด์— ๋ถ„ํฌํ•ฉ๋‹ˆ๋‹ค. 3์„ ๋„˜์œผ๋ฉด ๋‹ค์–‘์„ฑ์ด ๋งค์šฐ ๋†’๋‹ค๋Š” ๋œป์ž…๋‹ˆ๋‹ค. ๋‹ค๋งŒ ์ข… ํ’๋ถ€๋„์— ๋”ฐ๋ผ ๋‹ฌ๋ผ์ง€๊ธฐ ๋•Œ๋ฌธ์— ๊ณ ์ •๋œ ์ตœ๋Œ€๊ฐ’์€ ์—†์Šต๋‹ˆ๋‹ค.

\(\ln\)๊ณผ \(\log_{10}\) ์ค‘ ์–ด๋А ๊ฒƒ์„ ์จ์•ผ ํ•˜๋‚˜์š”? ํ•™์ˆ  ๋ฌธํ—Œ์—์„œ๋Š” ๋‘ ๊ฐ€์ง€ ๋ชจ๋‘ ์‚ฌ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ด ๋„๊ตฌ๋Š” ๊ฐ€์žฅ ์ผ๋ฐ˜์ ์ธ ๊ด€๋ก€์ธ ์ž์—ฐ๋กœ๊ทธ(\(\ln\))๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋กœ๊ทธ์˜ ๋ฐ‘์ด ๋‹ค๋ฅด๋ฉด ๊ฒฐ๊ณผ๋Š” ์ผ์ •ํ•œ ์ƒ์ˆ˜๋ฐฐ๋งŒํผ ์ฐจ์ด๊ฐ€ ๋‚ฉ๋‹ˆ๋‹ค.

๊ท ๋“ฑ๋„๋Š” ๋ฌด์—‡์„ ์•Œ๋ ค์ฃผ๋‚˜์š”? ํ”ผ์—˜๋ฃจ ๊ท ๋“ฑ๋„ \(J\)๋Š” 0์—์„œ 1 ์‚ฌ์ด์˜ ๊ฐ’์„ ๊ฐ€์ง‘๋‹ˆ๋‹ค. 1์— ๊ฐ€๊นŒ์šธ์ˆ˜๋ก ๊ฐœ์ฒด๋“ค์ด ๊ฐ ์ข…์— ๊ฑฐ์˜ ๊ณ ๋ฅด๊ฒŒ ๋ถ„ํฌํ•œ๋‹ค๋Š” ๋œป์ด๊ณ , ๊ฐ’์ด ๋‚ฎ์œผ๋ฉด ์†Œ์ˆ˜์˜ ์ข…์ด ๊ตฐ์ง‘์„ ์ง€๋ฐฐํ•˜๊ณ  ์žˆ๋‹ค๋Š” ์‹ ํ˜ธ์ž…๋‹ˆ๋‹ค.

์ตœ์ข… ์—…๋ฐ์ดํŠธ: