Softmax рдлрд╝рдВрдХреНрд╢рди рдХреНрдпрд╛ рд╣реИ?
Softmax рдлрд╝рдВрдХреНрд╢рди K рд╡рд╛рд╕реНрддрд╡рд┐рдХ рд╕рдВрдЦреНрдпрд╛рдУрдВ рдХреЗ рдПрдХ рд╡реЗрдХреНрдЯрд░ рдХреЛ рдПрдХ рдкреНрд░рд╛рдпрд┐рдХрддрд╛ рд╡рд┐рддрд░рдг рдореЗрдВ рдмрджрд▓ рджреЗрддрд╛ рд╣реИ: рд╣рд░ рдЖрдЙрдЯрдкреБрдЯ 0 рдФрд░ 1 рдХреЗ рдмреАрдЪ рд░рд╣рддрд╛ рд╣реИ, рдФрд░ рд╕рднреА K рдЖрдЙрдЯрдкреБрдЯ рдЬреЛрдбрд╝рдиреЗ рдкрд░ рдареАрдХ 1 рдмрдирддреЗ рд╣реИрдВред рдиреНрдпреВрд░рд▓-рдиреЗрдЯрд╡рд░реНрдХ рдХреНрд▓рд╛рд╕рд┐рдлрд╝рд╛рдпрд░ рдХреА рдЖрдЙрдЯрдкреБрдЯ рд▓реЗрдпрд░ рдореЗрдВ рдпрд╣ рд╕рдмрд╕реЗ рдЖрдо рдПрдХреНрдЯрд┐рд╡реЗрд╢рди рдлрд╝рдВрдХреНрд╢рди рд╣реИ, рдЬрд╣рд╛рдБ рдпрд╣ рдореЙрдбрд▓ рдХреЗ рдХрдЪреНрдЪреЗ рд╕реНрдХреЛрд░ (logits) рдХреЛ рдХреНрд▓рд╛рд╕ рдкреНрд░рд╛рдпрд┐рдХрддрд╛рдУрдВ рдореЗрдВ рдмрджрд▓ рджреЗрддрд╛ рд╣реИред рдпрд╣ рд╡рд┐рдорд╛рд░рд╣рд┐рдд (dimensionless) рд╣реЛрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдЗрдирдкреБрдЯ рдХреЗрд╡рд▓ рд╢реБрджреНрдз рд╕рдВрдЦреНрдпрд╛рдПрдБ рд╣реЛрддреА рд╣реИрдВ тАФ рдХрд┐рд╕реА рдЗрдХрд╛рдИ рдХреА рдЬрд╝рд░реВрд░рдд рдирд╣реАрдВред
рдЗрд╕ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХреИрд╕реЗ рдХрд░реЗрдВ
рдмреЙрдХреНрд╕ рдореЗрдВ рдЕрдкрдирд╛ рдЗрдирдкреБрдЯ рд╡реЗрдХреНрдЯрд░ рд╕рдВрдЦреНрдпрд╛рдУрдВ рдХреА рд╕реВрдЪреА рдХреЗ рд░реВрдк рдореЗрдВ рдЯрд╛рдЗрдк рдХрд░реЗрдВ, рдЬрд┐рдиреНрд╣реЗрдВ рдХреЙрдорд╛, рд╕реНрдкреЗрд╕ рдпрд╛ рдирдИ рд▓рд╛рдЗрди рд╕реЗ рдЕрд▓рдЧ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реЛ (рдЙрджрд╛рд╣рд░рдг: 1, 2, 3)ред рдпреЗ рд╕рдВрдЦреНрдпрд╛рдПрдБ рдзрдирд╛рддреНрдордХ, рдЛрдгрд╛рддреНрдордХ, рд╢реВрдиреНрдп рдпрд╛ рднрд┐рдиреНрдирд╛рддреНрдордХ рд╣реЛ рд╕рдХрддреА рд╣реИрдВред "рдХреИрд▓рдХреБрд▓реЗрдЯ" рджрдмрд╛рддреЗ рд╣реА рдЖрдкрдХреЛ рд╣рд░ рдШрдЯрдХ рдХреА softmax рдкреНрд░рд╛рдпрд┐рдХрддрд╛, рд╕рднреА рдЖрдЙрдЯрдкреБрдЯ рдХрд╛ рдпреЛрдЧ (рдЬреЛ 1 рд╣реЛрдирд╛ рдЪрд╛рд╣рд┐рдП), рдФрд░ argmax тАФ рдпрд╛рдиреА рд╕рдмрд╕реЗ рдмрдбрд╝реА рдкреНрд░рд╛рдпрд┐рдХрддрд╛ рд╡рд╛рд▓рд╛ 1-рдЖрдзрд╛рд░рд┐рдд рдЗрдВрдбреЗрдХреНрд╕ тАФ рдорд┐рд▓ рдЬрд╛рдПрдЧрд╛ред
рдлрд╝реЙрд░реНрдореВрд▓рд╛ рд╕рдордЭреЗрдВ
рд╣рд░ рдШрдЯрдХ j рдХреЗ рд▓рд┐рдП softmax рдЗрд╕ рддрд░рд╣ рдирд┐рдХрд▓рддрд╛ рд╣реИ: $$\sigma(z)_j = \frac{e^{z_j}}{\sum_{k} e^{z_k}}$$ рдШрд╛рддрд╛рдВрдХрди (exponentiation) рд╕реЗ рд╣рд░ рдкрдж рдзрдирд╛рддреНрдордХ рдмрди рдЬрд╛рддрд╛ рд╣реИ, рдФрд░ рдХреБрд▓ рдпреЛрдЧ рд╕реЗ рднрд╛рдЧ рджреЗрдиреЗ рдкрд░ рд╡реЗ рдЗрд╕ рддрд░рд╣ рд╕рд╛рдорд╛рдиреНрдпреАрдХреГрдд (normalize) рд╣реЛ рдЬрд╛рддреЗ рд╣реИрдВ рдХрд┐ рдЙрдирдХрд╛ рдЬреЛрдбрд╝ 1 рдмрдиреЗред рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рд╕реНрдерд┐рд░рддрд╛ рдХреЗ рд▓рд┐рдП рдпрд╣ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдШрд╛рддрд╛рдВрдХрди рд╕реЗ рдкрд╣рд▓реЗ рд╣рд░ рддрддреНрд╡ рдореЗрдВ рд╕реЗ рдЕрдзрд┐рдХрддрдо рдорд╛рди \(m\) рдШрдЯрд╛ рджреЗрддрд╛ рд╣реИ: $$\sigma(z)_j = \frac{e^{z_j - m}}{\sum_{k} e^{z_k - m}}$$ рд╕рд╛рдЭрд╛ рдЧреБрдгрдирдЦрдВрдб \(e^{-m}\) рдХрдЯ рдЬрд╛рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ рдкрд░рд┐рдгрд╛рдо рдмрд┐рд▓реНрдХреБрд▓ рд╡рд╣реА рд░рд╣рддрд╛ рд╣реИ рдкрд░ рдмрдбрд╝реЗ рдЗрдирдкреБрдЯ рдкрд░ рдУрд╡рд░рдлрд╝реНрд▓реЛ рдХреА рд╕рдорд╕реНрдпрд╛ рдЯрд▓ рдЬрд╛рддреА рд╣реИред
рд╣рд▓ рдХрд┐рдпрд╛ рд╣реБрдЖ рдЙрджрд╛рд╣рд░рдг
\(z = (1, 2, 3)\) рдХреЗ рд▓рд┐рдП: \(e^{1} = 2.71828\), \(e^{2} = 7.38906\), \(e^{3} = 20.08554\), рдЬрд┐рдирдХрд╛ рдпреЛрдЧ \(30.19287\) рд╣реИред рд╣рд░ рдкрдж рдХреЛ рдЗрд╕рд╕реЗ рднрд╛рдЧ рджреЗрдиреЗ рдкрд░ \(\sigma = (0.09003, 0.24473, 0.66524)\) рдорд┐рд▓рддрд╛ рд╣реИ, рдЬрд┐рд╕рдХрд╛ рдЬреЛрдбрд╝ 1 рд╣реИред argmax рдЗрдВрдбреЗрдХреНрд╕ 3 рд╣реИ тАФ рдпрд╛рдиреА рд╕рдмрд╕реЗ рдмрдбрд╝рд╛ рдЗрдирдкреБрдЯ тАФ рдЬрд┐рд╕рдХреА рдкреНрд░рд╛рдпрд┐рдХрддрд╛ \(0.66524\) рд╣реИред
рд╡рд┐рднрд┐рдиреНрди рдЗрдирдкреБрдЯ рд╡реЗрдХреНрдЯрд░реЛрдВ рдХреЗ рд▓рд┐рдП Softmax рдЖрдЙрдЯрдкреБрдЯ
рддрд╛рд▓рд┐рдХрд╛ рдХрдИ рдЗрдирдкреБрдЯ рд╡реЗрдХреНрдЯрд░реЛрдВ рдХреЗ рд▓рд┐рдП softmax рдЖрдЙрдЯрдкреБрдЯ рджрд┐рдЦрд╛рддреА рд╣реИ, рдЬрд┐рдирдХреА рдЧрдгрдирд╛ \(\sigma(\mathbf{x})_i = e^{x_i - \max(\mathbf{x})} / \sum_j e^{x_j - \max(\mathbf{x})}\) рд╕реЗ рдХреА рдЧрдИ рд╣реИред рдорд╛рди 4 рджрд╢рдорд▓рд╡ рд╕реНрдерд╛рдиреЛрдВ рддрдХ рдкреВрд░реНрдгрд╛рдВрдХрд┐рдд рдХрд┐рдП рдЧрдП рд╣реИрдВ, рдФрд░ рдЖрдЙрдЯрдкреБрдЯ рдХрд╛ рдпреЛрдЧ рд╣рдореЗрд╢рд╛ 1 рд╣реЛрддрд╛ рд╣реИред
| рдЗрдирдкреБрдЯ рд╡реЗрдХреНрдЯрд░ | Softmax рдЖрдЙрдЯрдкреБрдЯ | Argmax (рд╕реНрдерд┐рддрд┐) | рдЯрд┐рдкреНрдкрдгреА |
|---|---|---|---|
| (1, 1, 1) | 0.3333, 0.3333, 0.3333 | рдмрд░рд╛рдмрд░реА (рд╕рднреА рд╕рдорд╛рди) | рд╕рдорд╛рди рдЗрдирдкреБрдЯ рд╕реЗ рдПрдХрд╕рдорд╛рди рд╡рд┐рддрд░рдг рдорд┐рд▓рддрд╛ рд╣реИ, рдкреНрд░рддреНрдпреЗрдХ 1/3ред |
| (1, 2, 3) | 0.0900, 0.2447, 0.6652 | рддреАрд╕рд░рд╛ | рдЗрдирдкреБрдЯреЛрдВ рдХреЗ рдмреАрдЪ 1 рдХреЗ рдЕрдВрддрд░ рд╕реЗ рдордзреНрдпрдо рд░реВрдк рд╕реЗ рдЖрддреНрдорд╡рд┐рд╢реНрд╡рд╛рд╕реА рдЖрдЙрдЯрдкреБрдЯ рдорд┐рд▓рддрд╛ рд╣реИред |
| (-1, 0, 1) | 0.0900, 0.2447, 0.6652 | рддреАрд╕рд░рд╛ | (1, 2, 3) рдХреЗ рд╕рдорд╛рди рд╣реИ, рдХреНрдпреЛрдВрдХрд┐ рдпрд╣ 2 рд╕реЗ рдЦрд┐рд╕рдХрд╛рдпрд╛ рдЧрдпрд╛ рд╡рд╣реА рд╡реЗрдХреНрдЯрд░ рд╣реИред |
| (0, 0, 5) | 0.0066, 0.0066, 0.9867 | рддреАрд╕рд░рд╛ | рдПрдХ рдмрдбрд╝рд╛ рдЗрдирдкреБрдЯ рд╣рд╛рд╡реА рд░рд╣рддрд╛ рд╣реИ; рджреЛ рд╕рдорд╛рди рдЗрдирдкреБрдЯ рд╢реЗрд╖ рднрд╛рдЧ рдХреЛ рдмрд░рд╛рдмрд░ рдмрд╛рдБрдЯрддреЗ рд╣реИрдВред |
| (2, 4, 6) | 0.0159, 0.1173, 0.8668 | рддреАрд╕рд░рд╛ | рд╡реЗрдХреНрдЯрд░ (1, 2, 3) рдХреЛ 2 рд╕реЗ рдЧреБрдгрд╛ рдХрд░рдиреЗ рдкрд░ рд╡рд┐рддрд░рдг рдЕрдзрд┐рдХ рддреАрдЦрд╛ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред |
| (10, 20, 30) | тЙИ0.0000 (2.06├Ч10-9), тЙИ0.0000 (4.54├Ч10-5), 1.0000 (0.99995) | рддреАрд╕рд░рд╛ | рд▓рдЧрднрдЧ one-hotред рдЕрдзрд┐рдХрддрдо-рдШрдЯрд╛рд╡ рддрдХрдиреАрдХ рдмрдбрд╝реЗ рдЗрдирдкреБрдЯреЛрдВ рдХреЗ рд╕рд╛рде рдУрд╡рд░рдлрд╝реНрд▓реЛ рд╕реЗ рдмрдЪрд╛рддреА рд╣реИред |
рд╕реНрдХреЗрд▓рд┐рдВрдЧ рдкреНрд░рднрд╛рд╡: рд╣рд░ рдЗрдирдкреБрдЯ рдХреЛ 1 рд╕реЗ рдмрдбрд╝реЗ рдЧреБрдгрдХ рд╕реЗ рдЧреБрдгрд╛ рдХрд░рдиреЗ рдкрд░ рдЙрдирдХреЗ рдмреАрдЪ рдХрд╛ рдЕрдВрддрд░ рдмрдврд╝ рдЬрд╛рддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рд╕рдмрд╕реЗ рдмрдбрд╝реА рдкреНрд░рд╡рд┐рд╖реНрдЯрд┐ рдХреА рд╕рдВрднрд╛рд╡рдирд╛ рдмрдврд╝рддреА рд╣реИ рдФрд░ рд╡рд┐рддрд░рдг рддреАрдЦрд╛ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред рдХреНрд░рдо (argmax) рдХрднреА рдирд╣реАрдВ рдмрджрд▓рддрд╛ред 0 рдФрд░ 1 рдХреЗ рдмреАрдЪ рдХреЗ рдЧреБрдгрдХ рд╕реЗ рдЧреБрдгрд╛ рдХрд░рдиреЗ рдкрд░ рд╡рд┐рддрд░рдг рдПрдХрд╕рдорд╛рди рдХреА рдУрд░ рдЪрдкрдЯрд╛ рд╣реЛ рдЬрд╛рддрд╛ рд╣реИред
рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╕рд╡рд╛рд▓
рдЖрдЙрдЯрдкреБрдЯ рдХрд╛ рдпреЛрдЧ рд╣рдореЗрд╢рд╛ 1 рдХреНрдпреЛрдВ рд╣реЛрддрд╛ рд╣реИ? рдХреНрдпреЛрдВрдХрд┐ рд╣рд░ рдШрд╛рддрд╛рдВрдХ (exponential) рдХреЛ рд╕рднреА рдШрд╛рддрд╛рдВрдХреЛрдВ рдХреЗ рдпреЛрдЧ рд╕реЗ рднрд╛рдЧ рджрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рд╕рд╛рдорд╛рдиреНрдпреАрдХрд░рдг рдХреЗ рдХрд╛рд░рдг рдХреБрд▓ рдпреЛрдЧ рд╣рдореЗрд╢рд╛ 1 рдмрдирддрд╛ рд╣реИред
рдЕрдЧрд░ рд╕рднреА рдЗрдирдкреБрдЯ рдмрд░рд╛рдмрд░ рд╣реЛрдВ рддреЛ рдХреНрдпрд╛ рд╣реЛрдЧрд╛? рдкрд░рд┐рдгрд╛рдо рдПрдХ рд╕рдорд╛рди (uniform) рд╡рд┐рддрд░рдг рд╣реЛрддрд╛ рд╣реИ, рдЬрд╣рд╛рдБ рд╣рд░ рдЖрдЙрдЯрдкреБрдЯ \(1/K\) рдХреЗ рдмрд░рд╛рдмрд░ рд╣реЛрддрд╛ рд╣реИред
рд╣рд░ рдЗрдирдкреБрдЯ рдореЗрдВ рдПрдХ рд╕реНрдерд┐рд░рд╛рдВрдХ рдЬреЛрдбрд╝рдиреЗ рд╕реЗ рдХреНрдпрд╛ рдкрд░рд┐рдгрд╛рдо рдмрджрд▓рддрд╛ рд╣реИ? рдирд╣реАрдВред Softmax рд╢рд┐рдлрд╝реНрдЯ-рдЕрдкрд░рд┐рд╡рд░реНрддрдиреАрдп (shift-invariant) рд╣реИ: рд╕рднреА рдЗрдирдкреБрдЯ рдореЗрдВ рдПрдХ рд╣реА рд╕реНрдерд┐рд░рд╛рдВрдХ \(c\) рдЬреЛрдбрд╝рдиреЗ рдкрд░ рдЖрдЙрдЯрдкреБрдЯ рдирд╣реАрдВ рдмрджрд▓рддрд╛ тАФ рдФрд░ рдпрд╣реА рдХрд╛рд░рдг рд╣реИ рдХрд┐ рдЕрдзрд┐рдХрддрдо рдорд╛рди рдШрдЯрд╛рдирд╛ рдкреВрд░реА рддрд░рд╣ рд╕реБрд░рдХреНрд╖рд┐рдд рд╣реИред