Entropy Shannon là gì?
Entropy Shannon đo lường mức độ bất định trung bình, hay lượng thông tin, chứa trong một phân phối xác suất. Được Claude Shannon giới thiệu vào năm 1948, đây là nền tảng của lý thuyết thông tin và được ứng dụng rộng rãi trong nén dữ liệu, mật mã học, học máy và thống kê. Một phân phối mà trong đó một kết quả chắc chắn xảy ra sẽ có entropy bằng 0, còn phân phối đều trên nhiều kết quả lại đạt entropy cực đại.
Cách sử dụng công cụ
Nhập xác suất của từng kết quả thành một danh sách ngăn cách bằng dấu phẩy, ví dụ 0.5, 0.25, 0.25. Chọn cơ số logarit: cơ số 2 cho kết quả theo bit, cơ số e cho nat, và cơ số 10 cho dit (còn gọi là hartley). Nếu tổng các xác suất không bằng đúng 1, công cụ sẽ tự động chuẩn hóa bằng cách chia mỗi giá trị cho tổng của chúng. Các giá trị bằng 0 hoặc âm sẽ bị bỏ qua.
Giải thích công thức
Entropy được tính theo công thức $$H = -\sum_{i} p_i \, \log_{b} p_i \qquad p_i = \frac{\text{Value}_i}{\sum_j \text{Value}_j}$$ Mỗi xác suất đóng góp một lượng \(-p_i \cdot \log_b(p_i)\); cộng tất cả các số hạng này lại rồi đổi dấu sẽ cho ra một giá trị không âm. Entropy cực đại đối với \(n\) kết quả là \(\log_b(n)\), đạt được khi tất cả các kết quả có khả năng xảy ra như nhau. Hiệu suất biểu thị entropy của bạn dưới dạng phần trăm so với giá trị cực đại đó.
Ví dụ minh họa
Hãy xét các xác suất 0.5, 0.25, 0.25 tính theo bit. Các số hạng lần lượt là \(-0.5 \cdot \log_2(0.5) = 0.5\), \(-0.25 \cdot \log_2(0.25) = 0.5\), và một lần nữa là 0.5. Cộng lại ta được \(H = 1.5\) bit. Giá trị cực đại cho 3 kết quả là \(\log_2(3) \approx 1.585\) bit, vậy nên hiệu suất \(\approx 94.64\%\).
Câu hỏi thường gặp
Tại sao entropy bằng 0 với một sự kiện chắc chắn? Nếu một kết quả có xác suất bằng 1 thì không còn sự bất định nào, do đó không thu được thông tin gì khi nó xảy ra.
Bit và nat khác nhau ở điểm nào? Đó chỉ là các đơn vị khác nhau, được quy định bởi cơ số logarit. \(1 \text{ nat} \approx 1.4427 \text{ bit}\).
Tổng các xác suất có bắt buộc phải bằng 1 không? Lý tưởng nhất là có, nhưng công cụ này sẽ tự động chuẩn hóa nếu chúng chưa bằng 1.
