R-рд╕реНрдХреНрд╡рд╛рдпрд░реНрдб рдХреНрдпрд╛ рд╣реИ?
R-рд╕реНрдХреНрд╡рд╛рдпрд░реНрдб (R┬▓), рдЬрд┐рд╕реЗ рдирд┐рд░реНрдзрд╛рд░рдг рдЧреБрдгрд╛рдВрдХ (coefficient of determination) рднреА рдХрд╣рд╛ рдЬрд╛рддрд╛ рд╣реИ, рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рдореЙрдбрд▓ рдХреЗ рдЕрдиреБрдорд╛рди рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдбреЗрдЯрд╛ рд╕реЗ рдХрд┐рддрдиреЗ рдЕрдЪреНрдЫреЗ рдврдВрдЧ рд╕реЗ рдореЗрд▓ рдЦрд╛рддреЗ рд╣реИрдВред рдпрд╣ рдЖрд╢реНрд░рд┐рдд рдЪрд░ (dependent variable) рдХреЗ рд╡рд┐рдЪрд░рдг (variance) рдХрд╛ рд╡рд╣ рдЕрдиреБрдкрд╛рдд рджрд░реНрд╢рд╛рддрд╛ рд╣реИ рдЬрд┐рд╕реЗ рдореЙрдбрд▓ рд╕рдордЭрд╛ рдкрд╛рддрд╛ рд╣реИред рдПрдХ рд╕рдордЭрджрд╛рд░ рдореЙрдбрд▓ рдХреЗ рд▓рд┐рдП R┬▓ рдХрд╛ рдорд╛рди 0 рд╕реЗ 1 рдХреЗ рдмреАрдЪ рд╣реЛрддрд╛ рд╣реИ: 1 рдХрд╛ рдорддрд▓рдм рд╣реИ рдХрд┐ рдЕрдиреБрдорд╛рди рдбреЗрдЯрд╛ рд╕реЗ рдкреВрд░реА рддрд░рд╣ рдореЗрд▓ рдЦрд╛рддреЗ рд╣реИрдВ, рдЬрдмрдХрд┐ 0 рдХрд╛ рдорддрд▓рдм рд╣реИ рдХрд┐ рдореЙрдбрд▓ рдХрд┐рд╕реА рднреА рд╡рд┐рдЪрд░рдг рдХреЛ рдирд╣реАрдВ рд╕рдордЭрд╛ рдкрд╛рддрд╛ рдФрд░ рдФрд╕рдд (mean) рдХрд╛ рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдиреЗ рд╕реЗ рдмреЗрд╣рддрд░ рдирд╣реАрдВ рд╣реИред рдЬрдм рдХреЛрдИ рдореЙрдбрд▓ рдФрд╕рдд рдкрд░ рдЦреАрдВрдЪреА рдЧрдИ рдПрдХ рд╕реАрдзреА рд░реЗрдЦрд╛ рд╕реЗ рднреА рдЦрд░рд╛рдм рдлрд┐рдЯ рдмреИрдарддрд╛ рд╣реИ, рддрдм R┬▓ рдЛрдгрд╛рддреНрдордХ рднреА рд╣реЛ рд╕рдХрддрд╛ рд╣реИред
рдЗрд╕ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ
рдЕрдкрдиреЗ рджреЗрдЦреЗ рдЧрдП рдорд╛рди (рд╡рд╛рд╕реНрддрд╡рд┐рдХ Y рдбреЗрдЯрд╛) рдФрд░ рдЕрдиреБрдорд╛рдирд┐рдд рдорд╛рди (рдореЙрдбрд▓ рдХреЗ рдЖрдЙрдЯрдкреБрдЯ ┼╢) рдХреЙрдорд╛ рд╕реЗ рдЕрд▓рдЧ рдХреА рдЧрдИ рд╕реВрдЪреА рдХреЗ рд░реВрдк рдореЗрдВ рджрд░реНрдЬ рдХрд░реЗрдВред рджреЛрдиреЛрдВ рд╕реВрдЪрд┐рдпрд╛рдБ рдПрдХ рд╣реА рдХреНрд░рдо рдореЗрдВ рдФрд░ рдПрдХ рд╕рдорд╛рди рд▓рдВрдмрд╛рдИ рдХреА рд╣реЛрдиреА рдЪрд╛рд╣рд┐рдПред 'рдЧрдгрдирд╛ рдХрд░реЗрдВ' рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░рдиреЗ рдкрд░ рдЖрдкрдХреЛ R┬▓ рдХреЗ рд╕рд╛рде-рд╕рд╛рде рдЕрд╡рд╢рд┐рд╖реНрдЯ рд╡рд░реНрдЧ рдпреЛрдЧ (\(SS_{res}\)), рдХреБрд▓ рд╡рд░реНрдЧ рдпреЛрдЧ (\(SS_{tot}\)) рдФрд░ рдЙрдкрдпреЛрдЧ рдХрд┐рдП рдЧрдП рдбреЗрдЯрд╛ рдмрд┐рдВрджреБрдУрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рдорд┐рд▓реЗрдЧреАред
рд╕реВрддреНрд░ рдХреА рд╡реНрдпрд╛рдЦреНрдпрд╛
рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рд╕рдмрд╕реЗ рдкрд╣рд▓реЗ рджреЗрдЦреЗ рдЧрдП рдорд╛рдиреЛрдВ рдХрд╛ рдФрд╕рдд рдирд┐рдХрд╛рд▓рддрд╛ рд╣реИред рдХреБрд▓ рд╡рд░реНрдЧ рдпреЛрдЧ (total sum of squares) рдкреНрд░рддреНрдпреЗрдХ рдЕрд╡рд▓реЛрдХрди рдФрд░ рдЙрд╕ рдФрд╕рдд рдХреЗ рдмреАрдЪ рдХреЗ рдЕрдВрддрд░ рдХреЗ рд╡рд░реНрдЧреЛрдВ рдХрд╛ рдпреЛрдЧ рд╣реИ:
$$SS_{tot} = \sum \left( y_i - \bar{y} \right)^{2}$$рдЕрд╡рд╢рд┐рд╖реНрдЯ рд╡рд░реНрдЧ рдпреЛрдЧ (residual sum of squares) рджреЗрдЦреЗ рдЧрдП рдФрд░ рдЕрдиреБрдорд╛рдирд┐рдд рдорд╛рдиреЛрдВ рдХреЗ рдмреАрдЪ рдХреЗ рдЕрдВрддрд░ рдХреЗ рд╡рд░реНрдЧреЛрдВ рдХрд╛ рдпреЛрдЧ рд╣реИ:
$$SS_{res} = \sum \left( y_i - \hat{y}_i \right)^{2}$$рдЗрд╕рдХреЗ рдмрд╛рдж рдпрд╣ рд╣реЛрддрд╛ рд╣реИ:
$$R^{2} = 1 - \frac{SS_{res}}{SS_{tot}}$$рдЬрдм рдЕрд╡рд╢реЗрд╖ (residuals) рдХреБрд▓ рд╡рд┐рдЪрд░рдг рдХреА рддреБрд▓рдирд╛ рдореЗрдВ рдЫреЛрдЯреЗ рд╣реЛрддреЗ рд╣реИрдВ, рддреЛ \(SS_{res}/SS_{tot}\) рд╢реВрдиреНрдп рдХреЗ рдХрд░реАрдм рд╣реЛрддрд╛ рд╣реИ рдФрд░ R┬▓ 1 рдХреА рдУрд░ рдмрдврд╝рддрд╛ рд╣реИред
рд╣рд▓ рдХрд┐рдпрд╛ рд╣реБрдЖ рдЙрджрд╛рд╣рд░рдг
рдорд╛рди рд▓реАрдЬрд┐рдП рджреЗрдЦреЗ рдЧрдП рдорд╛рди 3, тИТ0.5, 2, 7 рд╣реИрдВ рдФрд░ рдЕрдиреБрдорд╛рдирд┐рдд рдорд╛рди 2.5, 0.0, 2, 8 рд╣реИрдВред рджреЗрдЦреЗ рдЧрдП рдорд╛рдиреЛрдВ рдХрд╛ рдФрд╕рдд рд╣реИ \((3 - 0.5 + 2 + 7)/4 = 2.875\)ред
$$SS_{res} = 0.5^{2} + (-0.5)^{2} + 0^{2} + (-1)^{2} = 0.25 + 0.25 + 0 + 1 = 1.5$$$$SS_{tot} = (0.125)^{2} + (-3.375)^{2} + (-0.875)^{2} + (4.125)^{2} \approx 0.015625 + 11.390625 + 0.765625 + 17.015625 = 29.1875$$$$R^{2} = 1 - \frac{1.5}{29.1875} \approx 0.9486$$рд╡рд┐рднрд┐рдиреНрди рдлрд┐рдЯ рдкрд░рд┐рджреГрд╢реНрдпреЛрдВ рдореЗрдВ R┬▓
рд╕рднреА рдкрдВрдХреНрддрд┐рдпрд╛рдБ рдПрдХ рд╣реА рдкреНрд░реЗрдХреНрд╖рд┐рдд рдорд╛рдиреЛрдВ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреА рд╣реИрдВ: 2, 4, 6, 8ред рдорд╛рдзреНрдп \(\bar{Y} = (2+4+6+8)/4 = 5\) рд╣реИ, рдЗрд╕рд▓рд┐рдП \(SS_{tot} = (-3)^2 + (-1)^2 + 1^2 + 3^2 = 9+1+1+9 = 20\)ред рдХреЗрд╡рд▓ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди рдмрджрд▓рддреЗ рд╣реИрдВред
| рдкрд░рд┐рджреГрд╢реНрдп | рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рдирд┐рдд рдорд╛рди | SS_res | SS_tot | R┬▓ |
|---|---|---|---|---|
| рдЙрддреНрддрдо рдлрд┐рдЯ | 2, 4, 6, 8 | 0 | 20 | 1 |
| рдирд┐рдХрдЯ рдлрд┐рдЯ | 3, 4, 6, 7 | (-1)┬▓ + 0┬▓ + 0┬▓ + 1┬▓ = 2 | 20 | 0.9 |
| рдордзреНрдпрдо рдлрд┐рдЯ | 4, 4, 6, 6 | (-2)┬▓ + 0┬▓ + 0┬▓ + 2┬▓ = 8 | 20 | 0.6 |
| рдорд╛рдзреНрдп рдХрд╛ рдкреВрд░реНрд╡рд╛рдиреБрдорд╛рди | 5, 5, 5, 5 | 9 + 1 + 1 + 9 = 20 | 20 | 0 |
| рдЦрд░рд╛рдм рдлрд┐рдЯ (рдЙрд▓рдЯрд╛ рд░реБрдЭрд╛рди) | 8, 6, 4, 2 | (-6)┬▓ + (-2)┬▓ + 2┬▓ + 6┬▓ = 80 | 20 | -3 |
рдирд┐рдХрдЯ рдлрд┐рдЯ рдХреЗ рд▓рд┐рдП рдХрд╛рд░реНрдп рдХреА рдЬрд╛рдБрдЪ: \(R^2 = 1 - 2/20 = 1 - 0.1 = 0.9\)ред рдЦрд░рд╛рдм рдлрд┐рдЯ рдХреЗ рд▓рд┐рдП: \(R^2 = 1 - 80/20 = 1 - 4 = -3\)ред рдЬрдм рднреА \(SS_{res}\), \(SS_{tot}\) рд╕реЗ рдЕрдзрд┐рдХ рд╣реЛрддрд╛ рд╣реИ, R┬▓ рд╢реВрдиреНрдп рд╕реЗ рдиреАрдЪреЗ рдЪрд▓рд╛ рдЬрд╛рддрд╛ рд╣реИред
рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╕рд╡рд╛рд▓
рдХреНрдпрд╛ R┬▓ рдЛрдгрд╛рддреНрдордХ рд╣реЛ рд╕рдХрддрд╛ рд╣реИ? рд╣рд╛рдБред рдЬрдм рдореЙрдбрд▓ рдХреЗрд╡рд▓ рдбреЗрдЯрд╛ рдХрд╛ рдФрд╕рдд рдЕрдиреБрдорд╛рди рд▓рдЧрд╛рдиреЗ рд╕реЗ рднреА рдЦрд░рд╛рдм рдлрд┐рдЯ рдмреИрдарддрд╛ рд╣реИ, рддреЛ \(SS_{res}\), \(SS_{tot}\) рд╕реЗ рдЕрдзрд┐рдХ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ рдФрд░ R┬▓ рдЛрдгрд╛рддреНрдордХ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред
рдХреНрдпрд╛ рдКрдБрдЪрд╛ R┬▓ рдЕрдЪреНрдЫреЗ рдореЙрдбрд▓ рдХрд╛ рд╕рдВрдХреЗрдд рд╣реИ? рд╣рдореЗрд╢рд╛ рдирд╣реАрдВред рдКрдБрдЪрд╛ R┬▓ рдЗрд╕ рдбреЗрдЯрд╛ рд╕реЗ рдирд┐рдХрдЯ рдлрд┐рдЯ рджрд░реНрд╢рд╛рддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдпрд╣ рдУрд╡рд░рдлрд┐рдЯрд┐рдВрдЧ (overfitting) рдХрд╛ рдкрд░рд┐рдгрд╛рдо рднреА рд╣реЛ рд╕рдХрддрд╛ рд╣реИред рд╣рдореЗрд╢рд╛ рдРрд╕реЗ рдбреЗрдЯрд╛ рд╕реЗ рд╕рддреНрдпрд╛рдкрди рдХрд░реЗрдВ рдЬреЛ рдореЙрдбрд▓ рдХреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рд┐рдд рдХрд░рдиреЗ рдореЗрдВ рдЙрдкрдпреЛрдЧ рдирд╣реАрдВ рд╣реБрдЖ рд╣реЛред
R┬▓ рдФрд░ рдПрдбрдЬрд╕реНрдЯреЗрдб R┬▓ рдореЗрдВ рдХреНрдпрд╛ рдЕрдВрддрд░ рд╣реИ? рдПрдбрдЬрд╕реНрдЯреЗрдб R┬▓ рдРрд╕реЗ рдкреНрд░рд┐рдбрд┐рдХреНрдЯрд░ рдЬреЛрдбрд╝рдиреЗ рдкрд░ рджрдВрдб рд▓рдЧрд╛рддрд╛ рд╣реИ рдЬреЛ рдореЙрдбрд▓ рдХреЛ рдмреЗрд╣рддрд░ рдирд╣реАрдВ рдмрдирд╛рддреЗ, рдЬреЛ рдмрд╣реБ-рдкреНрд░рддрд┐рдЧрдорди (multiple regression) рдореЗрдВ рдЙрдкрдпреЛрдЧреА рд╣реЛрддрд╛ рд╣реИред рдпрд╣ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдмрд┐рдирд╛ рдПрдбрдЬрд╕реНрдЯ рдХрд┐рдпрд╛ рдЧрдпрд╛ R┬▓ рджрд┐рдЦрд╛рддрд╛ рд╣реИред