MCP рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ тЖТ

рдЧрдгрдирд╛ рджрд░реНрдЬ рдХрд░реЗрдВ

рд╕реВрддреНрд░ (рдлреЙрд░реНрдореВрд▓рд╛)

рд╡рд┐рдЬреНрдЮрд╛рдкрди

рдкрд░рд┐рдгрд╛рдо

F1 рд╕реНрдХреЛрд░
0.7778
рдкреНрд░рд┐рд╕рд┐рдЬрди рдФрд░ рд░рд┐рдХреЙрд▓ рдХрд╛ рд╣рд╛рд░реНрдореЛрдирд┐рдХ рдореАрди
рдкреНрд░рд┐рд╕рд┐рдЬрди 0.7 (70%)
рд░рд┐рдХреЙрд▓ 0.875 (87.5%)
F1 рд╕реНрдХреЛрд░ (%) 77.78%

F1 рд╕реНрдХреЛрд░ рдХреНрдпрд╛ рд╣реЛрддрд╛ рд╣реИ?

F1 рд╕реНрдХреЛрд░ рдПрдХ рдРрд╕рд╛ рдореЗрдЯреНрд░рд┐рдХ рд╣реИ рдЬреЛ рдкреНрд░рд┐рд╕рд┐рдЬрди рдФрд░ рд░рд┐рдХреЙрд▓ рджреЛрдиреЛрдВ рдХреЛ рдорд┐рд▓рд╛рдХрд░ рдПрдХ рд╣реА рд╕рдВрдЦреНрдпрд╛ рдореЗрдВ рдкреЗрд╢ рдХрд░рддрд╛ рд╣реИред рдпрд╣реА рд╡рдЬрд╣ рд╣реИ рдХрд┐ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ, рдЗрдиреНрдлреЙрд░реНрдореЗрд╢рди рд░рд┐рдЯреНрд░реАрд╡рд▓ рдФрд░ рд╕рд╛рдВрдЦреНрдпрд┐рдХреА рдореЗрдВ рдХреНрд▓рд╛рд╕рд┐рдлрд┐рдХреЗрд╢рди рдореЙрдбрд▓ рдХрд╛ рдореВрд▓реНрдпрд╛рдВрдХрди рдХрд░рдиреЗ рдХреЗ рд▓рд┐рдП рдпрд╣ рдмрд╣реБрдд рд▓реЛрдХрдкреНрд░рд┐рдп рд╣реИред рдпрд╣ рдкреНрд░рд┐рд╕рд┐рдЬрди рдФрд░ рд░рд┐рдХреЙрд▓ рдХрд╛ рд╣рд╛рд░реНрдореЛрдирд┐рдХ рдореАрди (рд╕рдорд╛рдиреНрддрд░ рдорд╛рдзреНрдп рдирд╣реАрдВ) рд╣реЛрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдпрд╣ рдЙрди рдореЙрдбрд▓реЛрдВ рдХреЛ рдмреЗрд╣рддрд░ рдЖрдБрдХрддрд╛ рд╣реИ рдЬреЛ рджреЛрдиреЛрдВ рдХреЗ рдмреАрдЪ рд╕рдВрддреБрд▓рди рдмрдирд╛рдП рд░рдЦрддреЗ рд╣реИрдВ, рдмрдЬрд╛рдп рдЗрд╕рдХреЗ рдХрд┐ рдХреЗрд╡рд▓ рдХрд┐рд╕реА рдПрдХ рдореЗрдВ рдЕрдЪреНрдЫреЗ рд╣реЛрдВред

рдХрдиреНрдлреНрдпреВрдЬрд╝рди рдореИрдЯреНрд░рд┐рдХреНрд╕ рдЬрд┐рд╕рдореЗрдВ рдЯреНрд░реВ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡, рдлреЙрд▓реНрд╕ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡, рдлреЙрд▓реНрд╕ рдиреЗрдЧреЗрдЯрд┐рд╡ рдФрд░ рдЯреНрд░реВ рдиреЗрдЧреЗрдЯрд┐рд╡ рджрд┐рдЦрд╛рдП рдЧрдП рд╣реИрдВ
рдХрдиреНрдлреНрдпреВрдЬрд╝рди рдореИрдЯреНрд░рд┐рдХреНрд╕: F1 рд╕реНрдХреЛрд░ TP, FP рдФрд░ FN рд╕реЗ рдирд┐рдХрд╛рд▓рд╛ рдЬрд╛рддрд╛ рд╣реИред

рдЗрд╕ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ

рдЕрдкрдиреЗ рдХрдиреНрдлреНрдпреВрдЬрд╝рди рдореИрдЯреНрд░рд┐рдХреНрд╕ рд╕реЗ рддреАрди рдЧрд┐рдирддрд┐рдпрд╛рдБ рджрд░реНрдЬ рдХрд░реЗрдВ: True Positives (TP, рдпрд╛рдиреА рд╕рд╣реА рддрд░реАрдХреЗ рд╕реЗ рдкрд╣рдЪрд╛рдиреЗ рдЧрдП рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡), False Positives (FP, рдпрд╛рдиреА рд╡реЗ рдиреЗрдЧреЗрдЯрд┐рд╡ рдЬрд┐рдиреНрд╣реЗрдВ рдЧрд▓рддреА рд╕реЗ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдмрддрд╛рдпрд╛ рдЧрдпрд╛), рдФрд░ False Negatives (FN, рдпрд╛рдиреА рд╡реЗ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдЬреЛ рдЫреВрдЯ рдЧрдП)ред рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рддреБрд░рдВрдд рдкреНрд░рд┐рд╕рд┐рдЬрди, рд░рд┐рдХреЙрд▓ рдФрд░ рдкрд░рд┐рдгрд╛рдорд╕реНрд╡рд░реВрдк F1 рд╕реНрдХреЛрд░ рджрд┐рдЦрд╛ рджреЗрдЧрд╛ред

рдлреЙрд░реНрдореВрд▓рд╛ рдЖрд╕рд╛рди рднрд╛рд╖рд╛ рдореЗрдВ

рдкреНрд░рд┐рд╕рд┐рдЬрди = \(\text{TP} / (\text{TP} + \text{FP})\) рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдЬрд┐рддрдиреЗ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдХреА рднрд╡рд┐рд╖реНрдпрд╡рд╛рдгреА рдХреА рдЧрдИ рдереА, рдЙрдирдореЗрдВ рд╕реЗ рдХрд┐рддрдиреЗ рд╕рд╣реА рдереЗред рд░рд┐рдХреЙрд▓ = \(\text{TP} / (\text{TP} + \text{FN})\) рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдЕрд╕рд▓реА рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдореЗрдВ рд╕реЗ рдХрд┐рддрдиреЗ рдкрдХрдбрд╝реЗ рдЧрдПред рдЗрд╕рдХреЗ рдмрд╛рдж F1 рд╕реНрдХреЛрд░ рдирд┐рдХрд▓рддрд╛ рд╣реИ:

$$F_1 = 2 \cdot \frac{\text{рдкреНрд░рд┐рд╕рд┐рдЬрди} \cdot \text{рд░рд┐рдХреЙрд▓}}{\text{рдкреНрд░рд┐рд╕рд┐рдЬрди} + \text{рд░рд┐рдХреЙрд▓}}$$

рдЪреВрдБрдХрд┐ рдпрд╣ рд╣рд╛рд░реНрдореЛрдирд┐рдХ рдореАрди рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЕрдЧрд░ рдкреНрд░рд┐рд╕рд┐рдЬрди рдпрд╛ рд░рд┐рдХреЙрд▓ рдореЗрдВ рд╕реЗ рдХреЛрдИ рдПрдХ рднреА рдХрдо рд╣реЛ, рддреЛ F1 рд╕реНрдХреЛрд░ рддреЗрдЬрд╝реА рд╕реЗ рдиреАрдЪреЗ рдЧрд┐рд░ рдЬрд╛рддрд╛ рд╣реИред

рдЖрд░реЗрдЦ рдЬрд┐рд╕рдореЗрдВ рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдФрд░ рд░рд┐рдХреЙрд▓ рдорд┐рд▓рдХрд░ F1 рд╕реНрдХреЛрд░ рдмрдирд╛рддреЗ рд╣реИрдВ
F1 рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдФрд░ рд░рд┐рдХреЙрд▓ рдХрд╛ рд╣рд╛рд░реНрдореЛрдирд┐рдХ рдорд╛рдзреНрдп рд╣реИред

рд╣рд▓ рдХрд┐рдпрд╛ рд╣реБрдЖ рдЙрджрд╛рд╣рд░рдг

рдорд╛рди рд▓реАрдЬрд┐рдП \(\text{TP} = 70\), \(\text{FP} = 30\), \(\text{FN} = 10\)ред рддрдм рдкреНрд░рд┐рд╕рд┐рдЬрди = \(70 / 100 = 0.70\)ред рд░рд┐рдХреЙрд▓ = \(70 / 80 = 0.875\)ред

$$F_1 = 2 \cdot \frac{0.70 \cdot 0.875}{0.70 + 0.875} = 2 \cdot \frac{0.6125}{1.575} \approx 0.7778$$

рдпрд╛рдиреА рд▓рдЧрднрдЧ 77.78%ред

рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╕рд╡рд╛рд▓

рдПрдХреНрдпреВрд░реЗрд╕реА рдХреА рдЬрдЧрд╣ F1 рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрдм рдХрд░рдирд╛ рдЪрд╛рд╣рд┐рдП? рдЬрдм рдХреНрд▓рд╛рд╕реЗрд╕ рдЕрд╕рдВрддреБрд▓рд┐рдд (imbalanced) рд╣реЛрдВ, рддрдм F1 рдмреЗрд╣рддрд░ рд░рд╣рддрд╛ рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдРрд╕реЗ рдореЗрдВ рдПрдХреНрдпреВрд░реЗрд╕реА рднреНрд░рд╛рдордХ рд░реВрдк рд╕реЗ рдЬрд╝реНрдпрд╛рджрд╛ рджрд┐рдЦ рд╕рдХрддреА рд╣реИ рдЬрдм рдХреЛрдИ рдПрдХ рдХреНрд▓рд╛рд╕ рд╣рд╛рд╡реА рд╣реЛред

рдЕрдЪреНрдЫрд╛ F1 рд╕реНрдХреЛрд░ рдХрд┐рддрдирд╛ рд╣реЛрддрд╛ рд╣реИ? F1 рдХреА рд░реЗрдВрдЬ 0 рд╕реЗ 1 рддрдХ рд╣реЛрддреА рд╣реИ; 1 рдХреЗ рдЬрд┐рддрдирд╛ рдХрд░реАрдм, рдЙрддрдирд╛ рдмреЗрд╣рддрд░ред "рдЕрдЪреНрдЫрд╛" рдХреНрдпрд╛ рд╣реИ рдпрд╣ рдХрд╛рдо рдкрд░ рдирд┐рд░реНрднрд░ рдХрд░рддрд╛ рд╣реИ, рд▓реЗрдХрд┐рди рдЖрдорддреМрд░ рдкрд░ 0.8 рд╕реЗ рдКрдкрд░ рдХреЗ рдорд╛рди рдХреЛ рдордЬрд╝рдмреВрдд рдорд╛рдирд╛ рдЬрд╛рддрд╛ рд╣реИред

рдпрд╣ рд╣рд╛рд░реНрдореЛрдирд┐рдХ рдореАрди рд╣реА рдХреНрдпреЛрдВ рд╣реИ? рд╣рд╛рд░реНрдореЛрдирд┐рдХ рдореАрди, рдкреНрд░рд┐рд╕рд┐рдЬрди рдФрд░ рд░рд┐рдХреЙрд▓ рдХреЗ рдмреАрдЪ рдХреЗ рдЕрддреНрдпрдзрд┐рдХ рдЕрд╕рдВрддреБрд▓рди рдкрд░ рд╕рд╛рдзрд╛рд░рдг рдФрд╕рдд рдХреЗ рдореБрдХрд╛рдмрд▓реЗ рдХрд╣реАрдВ рдЬрд╝реНрдпрд╛рджрд╛ рд╕рдЦрд╝реНрддреА рдмрд░рддрддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдпрд╣ рддрдп рд╣реЛрддрд╛ рд╣реИ рдХрд┐ рджреЛрдиреЛрдВ рд╣реА рдЙрдЪрд┐рдд рд░реВрдк рд╕реЗ рдКрдБрдЪреЗ рд╣реЛрдВред

рдЕрдВрддрд┐рдо рдЕрдкрдбреЗрдЯ: