什么是上限栅栏?
上限栅栏(upper fence)是一条用于识别数据集中偏高异常值的统计边界。任何超过上限栅栏的数值都会被标记为潜在异常值,值得进一步核查。它源自经典的图基(Tukey)异常值检测法——也正是箱线图中两端"须线"(whiskers)的绘制依据。
如何使用本计算器
输入数据集的第一四分位数(Q1)和第三四分位数(Q3)。计算器会算出四分位距(\(\text{IQR} = \text{Q3} - \text{Q1}\)),将其乘以 1.5,再加到 Q3 上,得出上限栅栏。如果你还不知道四分位数,可以先把数据从小到大排序,取下半部分的中位数作为 Q1,取上半部分的中位数作为 Q3。
公式详解
上限栅栏的定义为 $$\text{Upper Fence} = \text{Q3} + 1.5 \times \left(\text{Q3} - \text{Q1}\right)$$ 其中 \(\left(\text{Q3} - \text{Q1}\right)\) 即四分位距,是一种不受极端值干扰的稳健离散程度度量。将 IQR 乘以 1.5 得到一个容差区间;把这个区间向上延伸到 Q3 之上,便确定了"异常偏大"观测值的临界点。
实例演示
假设某数据集的 \(\text{Q1} = 25\)、\(\text{Q3} = 75\)。则 IQR 为 \(75 - 25 = 50\)。上限栅栏即 $$75 + 1.5 \times 50 = 75 + 75 = 150$$ 任何大于 150 的数据点都会被视为潜在的偏高异常值。
不同 Q1/Q3 情景下的上限栅栏
内限(上限)栅栏为 \(Q_3 + 1.5 \times \text{IQR}\),外限栅栏为 \(Q_3 + 3 \times \text{IQR}\),其中 \(\text{IQR} = Q_3 - Q_1\)。下表展示了栅栏如何随四分位数变化。
| Q1 | Q3 | IQR | 上限栅栏(1.5×IQR) | 外限栅栏(3×IQR) |
|---|---|---|---|---|
| 25 | 75 | 50 | 150 | 225 |
| 10 | 20 | 10 | 35 | 50 |
| 40 | 50 | 10 | 65 | 80 |
| 100 | 110 | 10 | 125 | 140 |
| 0 | 8 | 8 | 20 | 32 |
第 2–4 行的 IQR 相同(10),因此栅栏与 Q3 的距离相同(内限为 15,外限为 30)。变化的只是 Q3 的位置。第一行的 IQR 较宽,因此栅栏距离 Q3 要远得多。
解读你的上限栅栏结果
- 轻度异常值:在 Tukey 方法中,高于 \(Q_3 + 1.5 \times \text{IQR}\) 的数值被归类为轻度(可能的)异常值。
- 极端异常值:高于 \(Q_3 + 3 \times \text{IQR}\) 的数值被归类为极端异常值。
- 箱线图须线:在标准 Tukey 箱线图中,上须线止于不超过上限栅栏的最大数据点。超出栅栏的点会被单独绘制。
- 栅栏高于最大值:如果栅栏大于或等于数据中的最大值,则没有数值被标记为高异常值,须线止于最大值。
- 四分位数方法:根据所用方法(例如,中位数分半法与电子表格或统计软件中的插值法),Q1 和 Q3 可能略有不同,因此栅栏也可能发生偏移,对于小样本数据集尤其如此。
- 被标记不等于被删除:高于栅栏的数值只是需要复核的候选项。该规则是一种筛查惯例,本身并不能说明某个数值是错误的,或不属于该数据。
逐步说明:从原始数据求上限栅栏
示例数据集(n = 10):14, 2, 9, 5, 40, 7, 12, 4, 11, 8。
- 对数据排序:2, 4, 5, 7, 8, 9, 11, 12, 14, 40。
- 求中位数:共有 10 个数值,中位数为第 5 和第 6 个数值的平均值:\((8 + 9)/2 = 8.5\)。
- 求 Q1 和 Q3,分别取下半部分和上半部分的中位数。下半部分:2, 4, 5, 7, 8,因此 \(Q_1 = 5\)。上半部分:9, 11, 12, 14, 40,因此 \(Q_3 = 12\)。(统计软件可能采用其他四分位数方法,得到略有不同的数值。)
- 计算 IQR:\(\text{IQR} = 12 - 5 = 7\)。
- 乘以 1.5:\(1.5 \times 7 = 10.5\)。
- 加到 Q3 上:\(\text{上限栅栏} = 12 + 10.5 = \) 22.5。
- 将每个数值与栅栏比较:从 2 到 14 的每个数值都不超过 22.5。数值 40 高于 22.5,因此被标记为高异常值。它也超过了外限栅栏 \(12 + 3 \times 7 = 33\),因此根据 Tukey 规则,它是极端异常值。
为完整起见,下限栅栏为 \(5 - 10.5 = -5.5\),没有数值低于它。在箱线图中,上须线将止于 14,即不超过 22.5 的最大数值。
常见问题
为什么是 1.5?系数 1.5 是约翰·图基(John Tukey)提出的标准乘数。对于近似正态分布的数据,它能在灵敏度和误报率之间取得平衡。有时也会用 3.0 这一乘数来标记"极端"异常值。
下限栅栏又是什么?与之对应的下边界为 \(\text{Q1} - 1.5 \times \text{IQR}\)。低于该值的数据即为偏低异常值。
超过栅栏就一定是错误吗?不一定。它只是把该数据点标记出来供你复核——它有可能是真实存在、只是数值偏极端的观测值。