MCP рдХреЗ рдорд╛рдзреНрдпрдо рд╕реЗ рдХрдиреЗрдХреНрдЯ рдХрд░реЗрдВ тЖТ

рдЧрдгрдирд╛ рджрд░реНрдЬ рдХрд░реЗрдВ

рд╕реВрддреНрд░ (рдлреЙрд░реНрдореВрд▓рд╛)

рд╡рд┐рдЬреНрдЮрд╛рдкрди

рдкрд░рд┐рдгрд╛рдо

рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди
80%
рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдмрддрд╛рдП рдЧрдП рдорд╛рдорд▓реЛрдВ рдореЗрдВ рд╕реЗ рд╕рд╣реА рдирд┐рдХрд▓реЗ
рд░рд┐рдХреЙрд▓ (рд╕реЗрдВрд╕рд┐рдЯрд┐рд╡рд┐рдЯреА) 88.89%
F1 рд╕реНрдХреЛрд░ 84.21%

рдпрд╣ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХреНрдпрд╛ рдХрд░рддрд╛ рд╣реИ

рдпрд╣ рдЯреВрд▓ рдХрд┐рд╕реА рдмрд╛рдЗрдирд░реА рдХреНрд▓рд╛рд╕рд┐рдлрд╝рд┐рдХреЗрд╢рди рдореЙрдбрд▓ рдХреЗ рдкреНрд░рджрд░реНрд╢рди рдХрд╛ рдЖрдХрд▓рди рддреАрди рдкреНрд░рдореБрдЦ рдореЗрдЯреНрд░рд┐рдХреНрд╕ рдХреЗ рдЬрд╝рд░рд┐рдП рдХрд░рддрд╛ рд╣реИ: рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди (Precision), рд░рд┐рдХреЙрд▓ (Recall) рдФрд░ F1 рд╕реНрдХреЛрд░ред рдЖрдк рдЕрдкрдиреЗ рдХрдиреНрдлрд╝реНрдпреВрдЬрд╝рди рдореИрдЯреНрд░рд┐рдХреНрд╕ рд╕реЗ рдорд┐рд▓реА рдХрдЪреНрдЪреА рдЧрд┐рдирддреА рджрд░реНрдЬ рдХрд░рддреЗ рд╣реИрдВ тАФ рдЯреНрд░реВ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ (TP), рдлрд╝реЙрд▓реНрд╕ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ (FP) рдФрд░ рдлрд╝реЙрд▓реНрд╕ рдиреЗрдЧреЗрдЯрд┐рд╡ (FN) тАФ рдФрд░ рдпрд╣ рд╣рд░ рдореЗрдЯреНрд░рд┐рдХ рдХреЛ рдкреНрд░рддрд┐рд╢рдд рдореЗрдВ рд▓реМрдЯрд╛ рджреЗрддрд╛ рд╣реИред рдпреЗ рдореЗрдЯреНрд░рд┐рдХреНрд╕ рдорд╢реАрди рд▓рд░реНрдирд┐рдВрдЧ, рдЗрдиреНрдлрд╝реЙрд░реНрдореЗрд╢рди рд░рд┐рдЯреНрд░реАрд╡рд▓, рдореЗрдбрд┐рдХрд▓ рдЯреЗрд╕реНрдЯрд┐рдВрдЧ рдФрд░ рд╣рд░ рдЙрд╕ рдХреНрд╖реЗрддреНрд░ рдореЗрдВ рдХрд╛рдо рдЖрддреЗ рд╣реИрдВ рдЬрд╣рд╛рдБ рдЪреАрдЬрд╝реЛрдВ рдХреЛ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдФрд░ рдиреЗрдЧреЗрдЯрд┐рд╡ рд╢реНрд░реЗрдгрд┐рдпреЛрдВ рдореЗрдВ рдмрд╛рдБрдЯрд╛ рдЬрд╛рддрд╛ рд╣реИред

рдЗрд╕рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХреИрд╕реЗ рдХрд░реЗрдВ

рдЯреНрд░реВ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ (рд╕рд╣реА рдврдВрдЧ рд╕реЗ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдмрддрд╛рдП рдЧрдП рдорд╛рдорд▓реЗ), рдлрд╝реЙрд▓реНрд╕ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ (рдиреЗрдЧреЗрдЯрд┐рд╡ рдЬрд┐рдиреНрд╣реЗрдВ рдЧрд▓рддреА рд╕реЗ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдмрддрд╛ рджрд┐рдпрд╛ рдЧрдпрд╛) рдФрд░ рдлрд╝реЙрд▓реНрд╕ рдиреЗрдЧреЗрдЯрд┐рд╡ (рдЕрд╕рд▓ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдЬреЛ рдореЙрдбрд▓ рд╕реЗ рдЫреВрдЯ рдЧрдП) рдХреА рд╕рдВрдЦреНрдпрд╛ рджрд░реНрдЬ рдХрд░реЗрдВред рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди, рд░рд┐рдХреЙрд▓ рдФрд░ F1 рджреЗрдЦрдиреЗ рдХреЗ рд▓рд┐рдП рдХреИрд▓рдХреБрд▓реЗрдЯ рдкрд░ рдХреНрд▓рд┐рдХ рдХрд░реЗрдВред рдЗрди рдореЗрдЯреНрд░рд┐рдХреНрд╕ рдХреЗ рд▓рд┐рдП рдЯреНрд░реВ рдиреЗрдЧреЗрдЯрд┐рд╡ рдХреА рдЬрд╝рд░реВрд░рдд рдирд╣реАрдВ рдкрдбрд╝рддреАред

рдлрд╝реЙрд░реНрдореВрд▓рд╛ рдЖрд╕рд╛рди рднрд╛рд╖рд╛ рдореЗрдВ

$$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$$ рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ: "рдореИрдВрдиреЗ рдЬрд┐рддрдиреА рдЪреАрдЬрд╝реЛрдВ рдХреЛ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдмрддрд╛рдпрд╛, рдЙрдирдореЗрдВ рд╕реЗ рдХрд┐рддрдиреА рд╕рд╣реА рдереАрдВ?" рдКрдБрдЪреА рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдХрд╛ рдорддрд▓рдм рд╣реИ тАФ рдХрдо рдЭреВрдареЗ рдЕрд▓рд╛рд░реНрдоред

$$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$ рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ: "рдЬрд┐рддрдиреА рдЪреАрдЬрд╝реЗрдВ рдЕрд╕рд▓ рдореЗрдВ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдереАрдВ, рдЙрдирдореЗрдВ рд╕реЗ рдХрд┐рддрдиреА рдореИрдВрдиреЗ рдкрдХрдбрд╝реАрдВ?" рдКрдБрдЪрд╛ рд░рд┐рдХреЙрд▓ рдпрд╛рдиреА рдХрдо рдЪреВрдХред

F1 рд╕реНрдХреЛрд░ рдЗрди рджреЛрдиреЛрдВ рдХрд╛ рд╣рд╛рд░реНрдореЛрдирд┐рдХ рдорд╛рдзреНрдп (harmonic mean) рд╣реИ: $$\text{F1} = 2 \cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$$ред рдпрд╣ рджреЛрдиреЛрдВ рдХреЗ рдмреАрдЪ рд╕рдВрддреБрд▓рди рдмрдирд╛рддрд╛ рд╣реИ рдФрд░ рддрдм рдмреЗрд╣рдж рдЙрдкрдпреЛрдЧреА рд╣реИ рдЬрдм рдбреЗрдЯрд╛ рдореЗрдВ рд╢реНрд░реЗрдгрд┐рдпрд╛рдБ рдЕрд╕рдВрддреБрд▓рд┐рдд рд╣реЛрдВред

рд╡реЗрди рдЖрд░реЗрдЦ рдЬреЛ рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдХреЛ рдЕрдиреБрдорд╛рдирд┐рдд рдкрд░ рдУрд╡рд░рд▓реИрдк рдФрд░ рд░рд┐рдХреЙрд▓ рдХреЛ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдкрд░ рдУрд╡рд░рд▓реИрдк рдХреЗ рд░реВрдк рдореЗрдВ рджрд░реНрд╢рд╛рддреЗ рд╣реИрдВ
рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдЕрдиреБрдорд╛рдирд┐рдд рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдкрд░ рдХреЗрдВрджреНрд░рд┐рдд рд╣реИ; рд░рд┐рдХреЙрд▓ рд╡рд╛рд╕реНрддрд╡рд┐рдХ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдкрд░ред
2x2 рдЧреНрд░рд┐рдб рдореЗрдВ TP, FP, FN рдФрд░ TN рджрд┐рдЦрд╛рддреА рдХрдиреНрдлреНрдпреВрдЬрд╝рди рдореИрдЯреНрд░рд┐рдХреНрд╕
рдХрдиреНрдлреНрдпреВрдЬрд╝рди рдореИрдЯреНрд░рд┐рдХреНрд╕: рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдФрд░ рд░рд┐рдХреЙрд▓ TP, FP рдФрд░ FN рд╕реЗ рдмрдирддреЗ рд╣реИрдВред

рд╣рд▓ рдХрд┐рдпрд╛ рд╣реБрдЖ рдЙрджрд╛рд╣рд░рдг

рдорд╛рди рд▓реАрдЬрд┐рдП рдПрдХ рд╕реНрдкреИрдо рдлрд╝рд┐рд▓реНрдЯрд░ 100 рдИрдореЗрд▓ рдХреЛ рд╕реНрдкреИрдо рдХреЗ рд░реВрдк рдореЗрдВ рдЪрд┐рд╣реНрдирд┐рдд рдХрд░рддрд╛ рд╣реИред рдЗрдирдореЗрдВ рд╕реЗ 80 рд╕рдЪрдореБрдЪ рд╕реНрдкреИрдо рд╣реИрдВ (TP) рдФрд░ 20 рдирд╣реАрдВ рд╣реИрдВ (FP)ред рд╕рд╛рде рд╣реА рдпрд╣ 10 рдЕрд╕рд▓реА рд╕реНрдкреИрдо рдИрдореЗрд▓ рдЪреВрдХ рднреА рдЬрд╛рддрд╛ рд╣реИ (FN)ред $$\text{Precision} = \frac{80}{80 + 20} = 0.80 = 80\%$$ $$\text{Recall} = \frac{80}{80 + 10} = 0.889 = 88.89\%$$ $$\text{F1} = 2 \cdot \frac{0.80 \cdot 0.889}{0.80 + 0.889} = 84.21\%$$

рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╕рд╡рд╛рд▓

рдореБрдЭреЗ рд░рд┐рдХреЙрд▓ рдХреЗ рдмрдЬрд╛рдп рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдХреЛ рдХрдм рдкреНрд░рд╛рдердорд┐рдХрддрд╛ рджреЗрдиреА рдЪрд╛рд╣рд┐рдП? рдЬрдм рдлрд╝реЙрд▓реНрд╕ рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдорд╣рдБрдЧреЗ рдкрдбрд╝реЗрдВ рддреЛ рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдХреЛ рдЕрд╣рдорд┐рдпрдд рджреЗрдВ (рдЬреИрд╕реЗ рдХрд┐рд╕реА рдЬрд╝рд░реВрд░реА рдИрдореЗрд▓ рдХреЛ рдЧрд▓рддреА рд╕реЗ рд╕реНрдкреИрдо рдорд╛рди рд▓реЗрдирд╛)ред рдФрд░ рдЬрдм рдкреЙрдЬрд╝рд┐рдЯрд┐рд╡ рдХреЛ рдЪреВрдХрдирд╛ рдорд╣рдБрдЧрд╛ рдкрдбрд╝реЗ рддреЛ рд░рд┐рдХреЙрд▓ рдХреЛ рдкреНрд░рд╛рдердорд┐рдХрддрд╛ рджреЗрдВ (рдЬреИрд╕реЗ рдХреИрдВрд╕рд░ рдХреА рдЬрд╛рдБрдЪ)ред

F1 рд╕реНрдХреЛрд░ рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХреНрдпреЛрдВ рдХрд░реЗрдВ? рдЕрд╕рдВрддреБрд▓рд┐рдд рдбреЗрдЯрд╛ рдХреЗ рд╕рд╛рде рдХреЗрд╡рд▓ рдПрдХреНрдпреВрд░реЗрд╕реА (accuracy) рднреНрд░рд╛рдордХ рд╣реЛ рд╕рдХрддреА рд╣реИред F1 рдкреНрд░рд┐рд╕рд┐рдЬрд╝рди рдФрд░ рд░рд┐рдХреЙрд▓ рдХреЛ рдПрдХ рд╣реА рд╕рдВрддреБрд▓рд┐рдд рд╕рдВрдЦреНрдпрд╛ рдореЗрдВ рдЬреЛрдбрд╝ рджреЗрддрд╛ рд╣реИред

рдЕрдЧрд░ рднрд╛рдЬрдХ (denominator) рд╢реВрдиреНрдп рд╣реЛ рддреЛ рдХреНрдпрд╛ рд╣реЛрдЧрд╛? рдЕрдЧрд░ TP+FP рдпрд╛ TP+FN рд╢реВрдиреНрдп рд╣реИ, рддреЛ рдореЗрдЯреНрд░рд┐рдХ рдЕрдкрд░рд┐рднрд╛рд╖рд┐рдд (undefined) рд░рд╣рддрд╛ рд╣реИ; рдРрд╕реА рд╕реНрдерд┐рддрд┐ рдореЗрдВ рдпрд╣ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ 0% рджрд┐рдЦрд╛рддрд╛ рд╣реИред

рдЕрдВрддрд┐рдо рдЕрдкрдбреЗрдЯ: