什麼是判定係數(R²)?
判定係數通常寫作 \(R^{2}\),用來衡量模型的預測值與實際觀測資料的吻合程度。它代表依變數(被預測變數)中,能被模型解釋的變異比例。\(R^{2}\) 的最大值為 1,表示完美擬合,預測值與實際值完全相同;數值為 0 時,代表模型的表現與單純用平均數來預測沒有差別;當模型甚至比「直接用平均數」還差時,\(R^{2}\) 還會出現負值。
如何使用這個計算器
請依相同順序,分別輸入一組實際觀測值(y)與對應的預測值(ŷ),每組數字以逗號分隔。計算器會把兩組數值一一配對,先求出實際值的平均數,再計算殘差平方和(\(SS_{res}\))與總平方和(\(SS_{tot}\)),最後算出 \(R^{2}\) 以及模型可解釋的變異百分比。
公式說明
$$R^{2} = 1 - \frac{SS_{res}}{SS_{tot}}$$其中 \(SS_{res} = \sum (y_{i} - \hat{y}_{i})^{2}\),代表模型預測後仍殘留的誤差;\(SS_{tot} = \sum (y_{i} - \bar{y})^{2}\),則代表資料相對於自身平均數的總變異量。兩者相除,可看出模型「沒能解釋」的變異比例;再用 1 減去這個比例,就得到模型「成功解釋」的變異比例。
實例演算
實際值 = [3, −0.5, 2, 7],預測值 = [2.5, 0.0, 2, 8]。實際值的平均數 = 2.875。$$SS_{res} = 0.5^{2} + 0.5^{2} + 0^{2} + 1^{2} = 0.25 + 0.25 + 0 + 1 = 1.5$$ $$SS_{tot} = (0.125)^{2} + (3.375)^{2} + (0.875)^{2} + (4.125)^{2} \approx 0.0156 + 11.3906 + 0.7656 + 17.0156 = 29.1875$$ $$R^{2} = 1 - \frac{1.5}{29.1875} \approx 0.9486$$因此這個模型約可解釋 94.9% 的變異。
解讀您的 R² 值
R²(決定係數)將模型的平方誤差與一個簡單基準的平方誤差進行比較,該基準永遠預測實際值的平均數:\(R^2 = 1 - SS_{res}/SS_{tot}\)。乘以 100 後,它代表預測值所能解釋的實際值變異比例。
| R² | 所代表的意義 |
|---|---|
| 1.0 | 預測值與每個實際值完全相符(SSres = 0)。100% 的變異都已被解釋。 |
| 0.9 | 約 90% 的變異已被解釋。這是很好的擬合。 |
| 0.7 | 約 70% 已被解釋。這是相當不錯的擬合,但仍有明顯的未解釋離散。 |
| 0.5 | 約一半的變異已被解釋,另一半未被解釋。 |
| 0.3 | 約 30% 已被解釋。這是較弱的擬合,不過在雜訊較多的領域中仍可能具有意義。 |
| 0.0 | 模型的表現不比每次都預測平均數更好(SSres = SStot)。 |
| 低於 0 | 模型的表現比平均數基準更差(SSres > SStot)。 |
什麼樣的 R² 才算好?
並不存在通用的門檻值。在物理科學與工程領域,測量通常受到控制,變數之間的關係接近確定性,因此常預期數值會高於 0.9。在社會科學、行為研究、經濟學以及許多生物學研究中,結果受到大量未被測量的因素影響,因此 0.2 至 0.5 的 R² 仍可能很有用。請依照您所屬領域的常規與模型的目的來判斷這個數值。
重要注意事項
- 並非因果關係:高 R² 只表示預測值能追蹤資料的走勢,並不代表輸入變數會導致結果。
- 並非沒有偏差:模型即使 R² 很高,在某些範圍內仍可能系統性地偏離。請檢查殘差圖。
- 並非沒有過度擬合:在用來擬合模型的資料上計算出的 R²,往往會隨著加入預測變數而上升,即使是無用的變數也一樣。若可能,請使用保留的測試資料進行評估。
- 調整後 R²會對額外的預測變數施加懲罰,因此較適合用來比較變數數量不同的模型。
- 只要預測值來自與相同資料的最小平方擬合以外的方式(例如將模型套用於新資料),就可能出現負值。
不同擬合情境下的 R²
四個情境使用的實際值都相同,為 y = 2, 4, 6, 8, 10。其平均數為 \(\bar{y} = 30/5 = 6\),因此在每種情況下 \(SS_{tot} = (2-6)^2 + (4-6)^2 + (6-6)^2 + (8-6)^2 + (10-6)^2 = 16 + 4 + 0 + 4 + 16 = 40\)。只有預測值會改變。
| 情境 | 實際 y | 預測 ŷ | SSres | SStot | R² | 說明 |
|---|---|---|---|---|---|---|
| 完美擬合 | 2, 4, 6, 8, 10 | 2, 4, 6, 8, 10 | 0 | 40 | 1 | 每個殘差都為零,因此所有變異都已被解釋。 |
| 良好擬合 | 2, 4, 6, 8, 10 | 3, 4, 6, 7, 10 | 2 | 40 | 0.95 | 兩個點各有 ±1 的小誤差。95% 的變異已被解釋。 |
| 僅預測平均數 | 2, 4, 6, 8, 10 | 6, 6, 6, 6, 6 | 40 | 40 | 0 | 永遠預測平均數會得到與基準完全相同的結果,因此 R² = 0。 |
| 比平均數更差 | 2, 4, 6, 8, 10 | 10, 8, 6, 4, 2 | 160 | 40 | -3 | 預測的方向與實際相反,因此誤差大於基準的誤差。 |
算術檢查
- 良好擬合:殘差為 -1, 0, 0, 1, 0,因此 \(SS_{res} = 1 + 0 + 0 + 1 + 0 = 2\),且 \(R^2 = 1 - 2/40 = 0.95\)。
- 僅預測平均數:殘差為 -4, -2, 0, 2, 4,因此 \(SS_{res} = 16 + 4 + 0 + 4 + 16 = 40\),且 \(R^2 = 1 - 40/40 = 0\)。
- 比平均數更差:殘差為 -8, -4, 0, 4, 8,因此 \(SS_{res} = 64 + 16 + 0 + 16 + 64 = 160\),且 \(R^2 = 1 - 160/40 = -3\)。
關鍵術語與符號
- R²(決定係數)
- 預測值所能解釋的實際值變異比例,\(R^2 = 1 - SS_{res}/SS_{tot}\)。其值至多為 1,且可以為負。
- SSres(殘差平方和)
- 實際值與預測值之差的平方和,\(\sum (y - \hat{y})^2\)。它衡量模型未能解釋的誤差。
- SStot(總平方和)
- 每個實際值與平均數之差的平方和,\(\sum (y - \bar{y})^2\)。它衡量資料的總變異。
- SSreg(已解釋平方和或迴歸平方和)
- 模型所捕捉到的變異,\(\sum (\hat{y} - \bar{y})^2\)。對於含截距項的普通最小平方擬合,\(SS_{tot} = SS_{reg} + SS_{res}\),因此 \(R^2 = SS_{reg}/SS_{tot}\)。此恆等式不適用於任意的預測值。
- 殘差
- 單一觀測值的誤差,\(y - \hat{y}\):實際值減預測值。
- 實際值的平均數(ȳ)
- 實際值的平均,\(\bar{y} = \frac{1}{n}\sum y\)。它是 R² 所比較的基準預測值。
- 預測值(ŷ)
- 您的模型對某個觀測值所輸出的數值。
- 調整後 R²
- R² 的一種變形,針對樣本數為 n、預測變數數量為 p 的情況施加懲罰:$$R^2_{adj} = 1 - (1 - R^2)\frac{n-1}{n-p-1}$$ 當新增的預測變數無法充分改善擬合時,它可能會下降。
- R² 與皮爾森 r 的比較
- 皮爾森 r 衡量兩個變數之間線性關聯的強度與方向(介於 -1 到 1)。在含截距項的簡單線性迴歸中,R² 等於 r²。本文所計算的 R² 會將任何一組預測值與實際值進行比較,因此可以為負,而 r² 則不可能為負。
常見問題
\(R^{2}\) 會是負值嗎?會。如果你的預測結果比「每次都直接猜平均數」還要差,\(SS_{res}\) 就會大於 \(SS_{tot}\),\(R^{2}\) 便會變成負數。
\(R^{2}\) 高就代表模型好嗎?不一定。\(R^{2}\) 可能因為過度擬合(overfitting)或加入無關的預測變數而被「灌水」。建議搭配殘差圖以及樣本外(out-of-sample)的表現一起檢視。
\(R^{2}\) 和相關係數有什麼不同?在簡單線性迴歸中,\(R^{2}\) 等於實際值與預測值之間皮爾森相關係數(\(r\))的平方。