Entropy Shannon là gì?
Entropy Shannon đo lường mức độ bất định, bất ngờ hay lượng thông tin trung bình chứa trong một biến ngẫu nhiên. Được Claude Shannon giới thiệu vào năm 1948, đây là nền tảng của lý thuyết thông tin và được tính bằng đơn vị bit khi sử dụng logarit cơ số 2. Entropy bằng 1 bit tương ứng với mức bất định khi tung một đồng xu cân bằng.
Cách sử dụng máy tính
Nhập xác suất của từng kết quả có thể xảy ra, cách nhau bằng dấu phẩy hoặc khoảng trắng (ví dụ 0.5, 0.25, 0.25). Bạn cũng có thể nhập trực tiếp tần suất hay số lần đếm thô (chẳng hạn 10, 5, 5) — công cụ sẽ tự động chuẩn hóa thành xác suất bằng cách chia mỗi giá trị cho tổng. Các giá trị bằng 0 và âm sẽ bị bỏ qua. Kết quả trả về gồm entropy theo bit, entropy cực đại có thể đạt được và hiệu suất của phân phối.
Giải thích công thức
Entropy được tính theo công thức $$H = -\sum_{i=1}^{n} p_i \log_2 p_i \qquad p_i = \frac{x_i}{\sum_{j=1}^{n} x_j}$$ lấy tổng trên mọi kết quả i. Mỗi số hạng cân lượng thông tin của một kết quả, \(-\log_2 p_i\), theo tần suất xuất hiện của nó, \(p_i\). Sự kiện hiếm mang nhiều thông tin hơn; sự kiện chắc chắn xảy ra (\(p_i = 1\)) thì không mang thông tin nào. Entropy cực đại với \(n\) kết quả là \(\log_2(n)\), đạt được khi tất cả kết quả đều có xác suất bằng nhau. Hiệu suất biểu thị \(H\) dưới dạng phần trăm của giá trị cực đại đó.
Ví dụ minh họa
Xét phân phối {0.5, 0.25, 0.25}. Entropy được tính như sau: $$-[0.5\cdot\log_2(0.5) + 0.25\cdot\log_2(0.25) + 0.25\cdot\log_2(0.25)] = -[0.5\cdot(-1) + 0.25\cdot(-2) + 0.25\cdot(-2)] = 0.5 + 0.5 + 0.5 = \textbf{1.5 bit}$$ Entropy cực đại với 3 kết quả là \(\log_2(3) \approx 1.585\) bit, cho hiệu suất khoảng 94.64%.
Câu hỏi thường gặp
Tại sao lại dùng bit? Dùng logarit cơ số 2 cho entropy theo đơn vị bit, đơn vị tự nhiên của thông tin số. Cơ số e cho ra "nat" và cơ số 10 cho ra "hartley".
Xác suất của tôi có bắt buộc cộng lại bằng 1 không? Không — máy tính sẽ tự chuẩn hóa mọi giá trị dương, nên bạn có thể dán trực tiếp số lần đếm thô.
Entropy cực đại là bao nhiêu? Với \(n\) kết quả có xác suất bằng nhau, nó bằng \(\log_2(n)\). Một đồng xu cân bằng (\(n=2\)) có entropy cực đại 1 bit; một con xúc xắc cân bằng (\(n=6\)) khoảng 2.585 bit.
