Hàng rào trên là gì?
Hàng rào trên (upper fence) là ngưỡng thống kê dùng để nhận diện các giá trị ngoại lệ ở phía cao trong một tập dữ liệu. Bất kỳ giá trị nào vượt qua hàng rào trên đều được đánh dấu là ngoại lệ tiềm năng và cần được xem xét kỹ hơn. Đây là một phần của phương pháp Tukey kinh điển để phát hiện ngoại lệ — cũng chính là cách vẽ các "râu" (whiskers) trên biểu đồ hộp (box-and-whisker plot).
Cách sử dụng công cụ
Bạn chỉ cần nhập tứ phân vị thứ nhất (Q1) và tứ phân vị thứ ba (Q3) của tập dữ liệu. Công cụ sẽ tính khoảng tứ phân vị (\(\text{IQR} = \text{Q3} - \text{Q1}\)), nhân với 1,5 rồi cộng kết quả vào Q3 để cho ra hàng rào trên. Nếu chưa biết các tứ phân vị, hãy sắp xếp dữ liệu theo thứ tự rồi tìm trung vị của nửa dưới (Q1) và trung vị của nửa trên (Q3).
Giải thích công thức
Hàng rào trên được xác định bằng $$\text{Hàng rào trên} = \text{Q3} + 1{,}5 \times \left(\text{Q3} - \text{Q1}\right)$$ Đại lượng \(\left(\text{Q3} - \text{Q1}\right)\) chính là khoảng tứ phân vị (IQR) — một thước đo độ phân tán bền vững, không bị ảnh hưởng bởi các giá trị cực đoan. Việc nhân IQR với 1,5 tạo ra một dải dung sai; mở rộng dải này lên phía trên Q3 sẽ thiết lập ngưỡng cho những quan sát lớn bất thường.
Ví dụ minh họa
Giả sử một tập dữ liệu có \(\text{Q1} = 25\) và \(\text{Q3} = 75\). Khi đó \(\text{IQR} = 75 - 25 = 50\). Hàng rào trên sẽ là $$75 + 1{,}5 \times 50 = 75 + 75 = 150$$ Mọi điểm dữ liệu lớn hơn 150 đều được xem là ngoại lệ cao tiềm năng.
Hàng rào trên theo các tình huống Q1/Q3 khác nhau
Hàng rào trong (trên) là \(Q_3 + 1.5 \times \text{IQR}\) và hàng rào ngoài là \(Q_3 + 3 \times \text{IQR}\), trong đó \(\text{IQR} = Q_3 - Q_1\). Bảng cho thấy các hàng rào thay đổi như thế nào theo tứ phân vị.
| Q1 | Q3 | IQR | Hàng rào trên (1.5×IQR) | Hàng rào ngoài (3×IQR) |
|---|---|---|---|---|
| 25 | 75 | 50 | 150 | 225 |
| 10 | 20 | 10 | 35 | 50 |
| 40 | 50 | 10 | 65 | 80 |
| 100 | 110 | 10 | 125 | 140 |
| 0 | 8 | 8 | 20 | 32 |
Các hàng 2–4 có cùng IQR (10), nên các hàng rào nằm cách Q3 cùng một khoảng (15 đối với hàng rào trong, 30 đối với hàng rào ngoài). Chỉ vị trí của Q3 thay đổi. IQR lớn hơn, như ở hàng đầu tiên, đẩy các hàng rào xa Q3 hơn nhiều.
Diễn giải kết quả hàng rào trên của bạn
- Giá trị ngoại lai nhẹ: theo phương pháp Tukey, một giá trị lớn hơn \(Q_3 + 1.5 \times \text{IQR}\) được xếp vào loại ngoại lai nhẹ (có khả năng).
- Giá trị ngoại lai cực đoan: một giá trị lớn hơn \(Q_3 + 3 \times \text{IQR}\) được xếp vào loại ngoại lai cực đoan.
- Râu của biểu đồ hộp: trong biểu đồ hộp Tukey tiêu chuẩn, râu trên kết thúc ở điểm dữ liệu lớn nhất không vượt quá hàng rào trên. Các điểm nằm ngoài hàng rào được vẽ riêng lẻ.
- Hàng rào lớn hơn giá trị lớn nhất: nếu hàng rào lớn hơn hoặc bằng giá trị lớn nhất trong dữ liệu, không có giá trị nào bị đánh dấu là ngoại lai cao, và râu kết thúc tại giá trị lớn nhất.
- Phương pháp tính tứ phân vị: Q1 và Q3 có thể khác nhau đôi chút tùy phương pháp (ví dụ, trung vị của hai nửa so với nội suy trong phần mềm bảng tính hoặc thống kê), vì vậy hàng rào cũng có thể dịch chuyển, đặc biệt với các tập dữ liệu nhỏ.
- Được đánh dấu không có nghĩa là bị loại bỏ: giá trị nằm trên hàng rào là ứng viên cần xem xét. Quy tắc này chỉ là một quy ước sàng lọc và tự nó không cho thấy giá trị đó là lỗi hoặc không thuộc về dữ liệu.
Từng bước: Tìm hàng rào trên từ dữ liệu thô
Tập dữ liệu minh họa (n = 10): 14, 2, 9, 5, 40, 7, 12, 4, 11, 8.
- Sắp xếp dữ liệu: 2, 4, 5, 7, 8, 9, 11, 12, 14, 40.
- Tìm trung vị: với 10 giá trị, đó là trung bình của giá trị thứ 5 và thứ 6: \((8 + 9)/2 = 8.5\).
- Tìm Q1 và Q3 là trung vị của nửa dưới và nửa trên. Nửa dưới: 2, 4, 5, 7, 8, nên \(Q_1 = 5\). Nửa trên: 9, 11, 12, 14, 40, nên \(Q_3 = 12\). (Các gói phần mềm có thể dùng phương pháp tứ phân vị khác và cho kết quả hơi khác.)
- Tính IQR: \(\text{IQR} = 12 - 5 = 7\).
- Nhân với 1.5: \(1.5 \times 7 = 10.5\).
- Cộng vào Q3: \(\text{Hàng rào trên} = 12 + 10.5 = \) 22.5.
- So sánh từng giá trị với hàng rào: mọi giá trị từ 2 đến 14 đều nhỏ hơn hoặc bằng 22.5. Giá trị 40 lớn hơn 22.5, nên được đánh dấu là ngoại lai cao. Nó cũng vượt quá hàng rào ngoài \(12 + 3 \times 7 = 33\), nên theo quy tắc Tukey, đây là một ngoại lai cực đoan.
Để đầy đủ, hàng rào dưới là \(5 - 10.5 = -5.5\), và không có giá trị nào nằm dưới mức này. Trên biểu đồ hộp, râu trên sẽ kết thúc tại 14, là giá trị lớn nhất không vượt quá 22.5.
Câu hỏi thường gặp
Vì sao lại là 1,5? Hệ số 1,5 là hệ số chuẩn do John Tukey đề xuất. Nó cân bằng giữa độ nhạy và tỷ lệ báo động giả đối với dữ liệu gần phân phối chuẩn. Đôi khi người ta dùng hệ số 3,0 để đánh dấu các ngoại lệ "cực đoan".
Còn hàng rào dưới thì sao? Ngưỡng dưới tương ứng là \(\text{Q1} - 1{,}5 \times \text{IQR}\). Những giá trị nằm dưới ngưỡng này là ngoại lệ ở phía thấp.
Một giá trị vượt hàng rào có luôn là lỗi không? Không. Nó chỉ đánh dấu điểm đó để bạn xem xét lại — đó có thể là một quan sát thật nhưng có giá trị cực đoan.