TF-IDF рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХреНрдпрд╛ рд╣реИ?
TF-IDF (рдЯрд░реНрдо рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реАтАУрдЗрдирд╡рд░реНрд╕ рдбреЙрдХреНрдпреВрдореЗрдВрдЯ рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА) рдПрдХ рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рдорд╛рдк рд╣реИ рдЬрд┐рд╕рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдЗрдиреНрдлрд╝реЙрд░реНрдореЗрд╢рди рд░рд┐рдЯреНрд░реАрд╡рд▓, рд╕рд░реНрдЪ рдЗрдВрдЬрди рдФрд░ рдЯреЗрдХреНрд╕реНрдЯ рдорд╛рдЗрдирд┐рдВрдЧ рдореЗрдВ рд╣реЛрддрд╛ рд╣реИред рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рдмрдбрд╝реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рд╕рдВрдЧреНрд░рд╣ (рдЬрд┐рд╕реЗ рдХреЙрд░реНрдкрд╕ рдХрд╣рддреЗ рд╣реИрдВ) рдХреЗ рднреАрддрд░ рдПрдХ рдЦрд╛рд╕ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреЗ рд▓рд┐рдП рдХреЛрдИ рд╢рдмреНрдж рдХрд┐рддрдирд╛ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИред рдЗрд╕ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдореЗрдВ рдЖрдк рдПрдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝, рдПрдХ рд▓рдХреНрд╖рд┐рдд рд╢рдмреНрдж (рдЯрд░реНрдо), рдХреЙрд░реНрдкрд╕ рдореЗрдВ рдореМрдЬреВрдж рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рдХреБрд▓ рд╕рдВрдЦреНрдпрд╛, рдФрд░ рдЙрдирдореЗрдВ рд╕реЗ рдХрд┐рддрдиреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рд╡рд╣ рд╢рдмреНрдж рдЖрддрд╛ рд╣реИ тАФ рдпрд╣ рд╕рдм рджрд░реНрдЬ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдлрд┐рд░ рдпрд╣ рдЯрд░реНрдо рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА (TF), рдЗрдирд╡рд░реНрд╕ рдбреЙрдХреНрдпреВрдореЗрдВрдЯ рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА (IDF) рдФрд░ рджреЛрдиреЛрдВ рдХреЛ рдорд┐рд▓рд╛рдХрд░ рдмрдирдиреЗ рд╡рд╛рд▓рд╛ TF-IDF рд╕реНрдХреЛрд░ рдирд┐рдХрд╛рд▓ рджреЗрддрд╛ рд╣реИред
рдЗрд╕рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХреИрд╕реЗ рдХрд░реЗрдВ
- рджрд╕реНрддрд╛рд╡реЗрдЬрд╝: рдЬрд┐рд╕ рдЯреЗрдХреНрд╕реНрдЯ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдирд╛ рд╣реИ, рдЙрд╕реЗ рдпрд╣рд╛рдБ рдкреЗрд╕реНрдЯ рдХрд░реЗрдВред
- рдЯрд░реНрдо: рдЬрд┐рд╕ рдПрдХ рд╢рдмреНрдж рдпрд╛ рд╡рд╛рдХреНрдпрд╛рдВрд╢ рдХрд╛ рд╕реНрдХреЛрд░ рдирд┐рдХрд╛рд▓рдирд╛ рд╣реИ, рдЙрд╕реЗ рджрд░реНрдЬ рдХрд░реЗрдВред
- рдХреЙрд░реНрдкрд╕ рдЖрдХрд╛рд░: рдЖрдкрдХреЗ рд╕рдВрдЧреНрд░рд╣ рдореЗрдВ рдореМрдЬреВрдж рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рдХреБрд▓ рд╕рдВрдЦреНрдпрд╛ (\(N\))ред
- рдЯрд░реНрдо рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝: рдХрд┐рддрдиреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рд╡рд╣ рд╢рдмреНрдж рдХрдо-рд╕реЗ-рдХрдо рдПрдХ рдмрд╛рд░ рдЖрддрд╛ рд╣реИред
рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдкрд╣рд▓реЗ рдЧрд┐рдирддрд╛ рд╣реИ рдХрд┐ рд╡рд╣ рд╢рдмреНрдж рдЖрдкрдХреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдХрд┐рддрдиреА рдмрд╛рд░ рдЖрддрд╛ рд╣реИ, рдлрд┐рд░ рдЗрд╕реЗ рдХреБрд▓ рд╢рдмреНрджреЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╕реЗ рднрд╛рдЧ рджреЗрддрд╛ рд╣реИ, рдФрд░ рдЕрдВрдд рдореЗрдВ рдЗрд╕реЗ рдкреВрд░реЗ рдХреЙрд░реНрдкрд╕ рдореЗрдВ рдЙрд╕ рд╢рдмреНрдж рдХреА рджреБрд░реНрд▓рднрддрд╛ рдХреЗ рд╕рд╛рде рдЬреЛрдбрд╝ рджреЗрддрд╛ рд╣реИред
рдлрд╝реЙрд░реНрдореВрд▓рд╛ рд╕рдордЭреЗрдВ
рдорд╛рдирдХ TF-IDF рдлрд╝реЙрд░реНрдореВрд▓рд╛ рдЗрд╕ рдкреНрд░рдХрд╛рд░ рд╣реИ:
- TF \(= \dfrac{\text{рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рд╢рдмреНрдж рдХрд┐рддрдиреА рдмрд╛рд░ рдЖрдпрд╛}}{\text{рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдХреБрд▓ рд╢рдмреНрдж}}\)
- IDF \(= \log\!\left(\dfrac{N}{\text{рд╢рдмреНрдж рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛}}\right)\)
- TF-IDF \(= \text{TF} \times \text{IDF}\)
$$\begin{gathered} \text{TF-IDF} = \text{TF} \times \text{IDF} \\[1.5em] \text{where}\quad \left\{ \begin{aligned} \text{TF} &= \dfrac{\text{count of }\text{Term}\text{ in }\text{Document}}{\text{total words in }\text{Document}} \\[0.6em] \text{IDF} &= \ln\!\left(1 + \dfrac{\text{Corpus Size}}{\text{Docs with Term} + 1}\right) \end{aligned} \right. \end{gathered}$$
рдКрдБрдЪрд╛ TF-IDF рд╕реНрдХреЛрд░ рдЗрд╕рдХрд╛ рд╕рдВрдХреЗрдд рд╣реИ рдХрд┐ рд╢рдмреНрдж рдЖрдкрдХреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдмрд╛рд░-рдмрд╛рд░ рдЖрддрд╛ рд╣реИ рдкрд░ рдкреВрд░реЗ рдХреЙрд░реНрдкрд╕ рдореЗрдВ рдХрдо тАФ рдпрд╛рдиреА рд╡рд╣ рд╢рдмреНрдж рдЙрд╕ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреЗ рд▓рд┐рдП рд╡рд┐рд╢рд┐рд╖реНрдЯ рдФрд░ рдЕрд░реНрдердкреВрд░реНрдг рд╣реИред
рд╣рд▓ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдЙрджрд╛рд╣рд░рдг
рдорд╛рди рд▓реАрдЬрд┐рдП рдЖрдкрдХреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ 100 рд╢рдмреНрдж рд╣реИрдВ рдФрд░ "marketing" рд╢рдмреНрдж 5 рдмрд╛рд░ рдЖрддрд╛ рд╣реИред рдЖрдкрдХреЗ рдХреЙрд░реНрдкрд╕ рдореЗрдВ 1,000 рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рд╣реИрдВ, рдЬрд┐рдирдореЗрдВ рд╕реЗ 100 рдореЗрдВ "marketing" рдХрд╛ рдЬрд╝рд┐рдХреНрд░ рд╣реИред
- $$\text{TF} = \frac{5}{100} = 0.05$$
- $$\text{IDF} = \log\!\left(\frac{1000}{100}\right) = \log(10) = 1 \quad (\text{рдЖрдзрд╛рд░ } 10)$$
- $$\text{TF-IDF} = 0.05 \times 1 = 0.05$$
рдЕрдЧрд░ "marketing" рд╕рд┐рд░реНрдлрд╝ 10 рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рдЖрддрд╛, рддреЛ IDF рдмрдврд╝рдХрд░ \(\log(100) = 2\) рд╣реЛ рдЬрд╛рддрд╛, рдФрд░ рд╕реНрдХреЛрд░ рджреЛрдЧреБрдирд╛ рд╣реЛрдХрд░ 0.10 рд╣реЛ рдЬрд╛рддрд╛ тАФ рдпрд╛рдиреА рджреБрд░реНрд▓рдн рдФрд░ рдЬрд╝реНрдпрд╛рджрд╛ рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╢рдмреНрджреЛрдВ рдХреЛ рдЬрд╝реНрдпрд╛рджрд╛ рдорд╣рддреНрд╡ рдорд┐рд▓рддрд╛ рд╣реИред
рдореБрдЦреНрдп рд╢рд░реНрддреЗрдВ рдФрд░ рдЪрд░
| рд╢рд░реНрдд | рдкреНрд░рддреАрдХ | рдкрд░рд┐рднрд╛рд╖рд╛ |
|---|---|---|
| рд╢рд░реНрдд | \(t\) | рд╢рдмреНрдж, рд╕реНрдЯреЗрдо рдпрд╛ рд╡рд╛рдХреНрдпрд╛рдВрд╢ рдХрд╛ рдЕрдВрдХ рджрд┐рдпрд╛ рдЬрд╛ рд░рд╣рд╛ рд╣реИред рдЬреЛ рднреА рдПрдХ рд╢рд░реНрдд рдХреЗ рд░реВрдк рдореЗрдВ рдЧрд┐рдирд╛ рдЬрд╛рддрд╛ рд╣реИ рдЙрд╕реЗ рдкреВрд░реЗ рдХреЛрд░реНрдкрд╕ рдореЗрдВ рд╕реБрд╕рдВрдЧрдд рддрд░реАрдХреЗ рд╕реЗ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред |
| рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ | \(d\) | рдкрд╛рда рдХреА рдПрдХ рдЗрдХрд╛рдИ рдЬрд┐рд╕рдХрд╛ рдЕрдВрдХ рджрд┐рдпрд╛ рдЬрд╛ рд░рд╣рд╛ рд╣реИ тАФ рдПрдХ рд▓реЗрдЦ, рдПрдХ рдкреГрд╖реНрда, рдПрдХ рдЙрддреНрдкрд╛рдж рд╡рд┐рд╡рд░рдг, рдПрдХ рд╕рдорд░реНрдерди рдЯрд┐рдХрдЯред TF рд╣рдореЗрд╢рд╛ рдПрдХ рдПрдХрд▓ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреЗ рд╕рд╛рдкреЗрдХреНрд╖ рд╣реЛрддрд╛ рд╣реИред |
| рдХреЛрд░реНрдкрд╕ | \(D\) | рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХрд╛ рд╕рдВрдкреВрд░реНрдг рд╕рдВрдЧреНрд░рд╣ рдЬрд┐рд╕рдХреЗ рд╡рд┐рд░реБрджреНрдз рджреБрд░реНрд▓рднрддрд╛ рдХрд╛ рдиреНрдпрд╛рдп рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред IDF рдХреЛрд░реНрдкрд╕ рдХреА рдПрдХ рд╕рдВрдкрддреНрддрд┐ рд╣реИ, рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреА рдирд╣реАрдВред |
| рдХреЛрд░реНрдкрд╕ рдХрд╛ рдЖрдХрд╛рд░ | \(N\) | рдХреЛрд░реНрдкрд╕ рдореЗрдВ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛, рдЬрд┐рд╕рдореЗрдВ рд╡рд╣ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рднреА рд╢рд╛рдорд┐рд▓ рд╣реИ рдЬрд┐рд╕рдХрд╛ рдЕрдВрдХ рджрд┐рдпрд╛ рдЬрд╛ рд░рд╣рд╛ рд╣реИред |
| рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдЖрд╡реГрддреНрддрд┐ | \(df\) | рдХрд┐рддрдиреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рдХрдо рд╕реЗ рдХрдо рдПрдХ рдмрд╛рд░ рд╢рд░реНрдд рджрд┐рдЦрд╛рдИ рджреЗрддреА рд╣реИред рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рдПрдХ рдЧрдгрдирд╛, рдХрднреА рднреА рдШрдЯрдирд╛рдУрдВ рдХреА рдирд╣реАрдВ, рдЗрд╕рд▓рд┐рдП \(0 \le df \le N\)ред |
| рдХрдЪреНрдЪреА рд╢рд░реНрдд рдЧрдгрдирд╛ | \(tf\) | рд╢рд░реНрдд рдПрдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреЗ рдЕрдВрджрд░ рдХрд┐рддрдиреА рдмрд╛рд░ рд╣реЛрддреА рд╣реИ тАФ рдЕрдирд┐рдпрдВрддреНрд░рд┐рдд рдЧрдгрдирд╛ред |
| рд╢рд░реНрдд рдЖрд╡реГрддреНрддрд┐ | TF | рдЕрдиреБрдкрд╛рддрд┐рдд рдЧрдгрдирд╛, \(tf\) рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреА рдХреБрд▓ рд╢рдмреНрдж рдЧрдгрдирд╛ рд╕реЗ рд╡рд┐рднрд╛рдЬрд┐рддред 0 рдФрд░ 1 рдХреЗ рдмреАрдЪ рдПрдХ рдЕрдиреБрдкрд╛рдд рдЬреЛ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреА рд▓рдВрдмрд╛рдИ рдХреЗ рдкреНрд░рднрд╛рд╡ рдХреЛ рджреВрд░ рдХрд░рддрд╛ рд╣реИред |
| рд╡реНрдпреБрддреНрдХреНрд░рдо рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдЖрд╡реГрддреНрддрд┐ | IDF | рд╡реИрд╢реНрд╡рд┐рдХ рджреБрд░реНрд▓рднрддрд╛ рдХрд╛ рдПрдХ рд▓рдШреБрдЧрдгрдХреАрдп рдорд╛рдкред рдЬрдм рд╢рд░реНрдд рдХреБрдЫ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рджрд┐рдЦрд╛рдИ рджреЗрддреА рд╣реИ рддреЛ рдмрдбрд╝реА, рдЬрдм рдпрд╣ рдХрдИ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рджрд┐рдЦрд╛рдИ рджреЗрддреА рд╣реИ рддреЛ рдЫреЛрдЯреАред |
| TF-IDF | тАФ | рдЧреБрдгрдирдлрд▓ \(\text{TF} \times \text{IDF}\): рдЬрдм рдХреЛрдИ рд╢рд░реНрдд рд╕реНрдерд╛рдиреАрдп рд░реВрдк рд╕реЗ рдЕрдХреНрд╕рд░ рдФрд░ рд╡рд┐рд╢реНрд╡ рд╕реНрддрд░ рдкрд░ рджреБрд░реНрд▓рдн рд╣реЛрддреА рд╣реИ рддреЛ рдЙрдЪреНрдЪред |
| рдЯреЛрдХрдирд╛рдЗрдЬрд╝реЗрд╢рди | тАФ | рдХрдЪреНрдЪреЗ рдкрд╛рда рдХреЛ рдЧрдгрдиреАрдп рдЯреЛрдХрди рдореЗрдВ рд╡рд┐рднрд╛рдЬрд┐рдд рдХрд░рдирд╛ тАФ рдЖрдо рддреМрд░ рдкрд░ рд▓реЛрдЕрд░рдХреЗрд╕рд┐рдВрдЧ, рд╡рд┐рд░рд╛рдо рдЪрд┐рдиреНрд╣ рд╣рдЯрд╛рдирд╛, рдФрд░ рдпрд╣ рддрдп рдХрд░рдирд╛ рдХрд┐ рд╕рдВрдЦреНрдпрд╛рдУрдВ, рд╣рд╛рдЗрдлрди рдФрд░ рд╕рдВрдХреБрдЪрди рдХреЛ рдХреИрд╕реЗ рд╡реНрдпрд╡рд╣рд╛рд░ рдХрд┐рдпрд╛ рдЬрд╛рдПред рдпрд╣ TF рд╣рд░ рдФрд░ рдХреНрдпрд╛ рдПрдХ рдореЗрд▓ рдХреЗ рд░реВрдк рдореЗрдВ рдЧрд┐рдирд╛ рдЬрд╛рддрд╛ рд╣реИ рджреЛрдиреЛрдВ рдХреЛ рдареАрдХ рдХрд░рддрд╛ рд╣реИред |
| рд╕реНрдЯреЙрдкрд╡рд░реНрдб | тАФ | рдПрдХ рдмрд╣реБрдд рд╣реА рд╕рд╛рдорд╛рдиреНрдп рдХрд╛рд░реНрдп рд╢рдмреНрдж (the, of, and, is) рдЬреЛ рд╡рд┐рд╖рдп рд╕рдВрдмрдВрдзреА рдЬрд╛рдирдХрд╛рд░реА рдмрд╣реБрдд рдХрдо рд░рдЦрддрд╛ рд╣реИред рдЕрдХреНрд╕рд░ рд╕реНрдХреЛрд░рд┐рдВрдЧ рд╕реЗ рдкрд╣рд▓реЗ рд╣рдЯрд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рд╣рд╛рд▓рд╛рдВрдХрд┐ TF-IDF рдРрд╕реЗ рд╢рдмреНрджреЛрдВ рдХреЛ рд╕реНрд╡рдпрдВ рдХреЛ рджрдмрд╛рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдЙрдирдХрд╛ IDF рдиреНрдпреВрдирддрдо рдХреЗ рдкрд╛рд╕ рд╣реИред |
| рд╕реНрдореВрдерд┐рдВрдЧ | тАФ | \(+1\) рд╢рд░реНрддреЗрдВ \(\ln(1 + N/(df+1))\) рдореЗрдВред рд╣рд░ рдореЗрдВ \(+1\) рд╢реВрдиреНрдп рд╕реЗ рд╡рд┐рднрд╛рдЬрди рдХреЛ рд░реЛрдХрддрд╛ рд╣реИ рдЬрдм \(df = 0\) (рдХреЛрд░реНрдкрд╕ рдореЗрдВ рдПрдХ рдЕрджреГрд╢реНрдп рд╢рд░реНрдд); рд▓рдШреБрдЧрдгрдХ рдХреЗ рдЕрдВрджрд░ \(+1\) рддрд░реНрдХ рдХреЛ 1 рд╕реЗ рдКрдкрд░ рд░рдЦрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдкрд░рд┐рдгрд╛рдо рд╣рдореЗрд╢рд╛ рд╕рдЦреНрддреА рд╕реЗ рд╕рдХрд╛рд░рд╛рддреНрдордХ рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдХрднреА рд╢реВрдиреНрдп рдпрд╛ рдирдХрд╛рд░рд╛рддреНрдордХ рдирд╣реАрдВ рд╣реЛрддрд╛ рд╣реИред |
| рд▓реЙрдЧ рдЖрдзрд╛рд░ | \(\ln\), \(\log_{10}\) | IDF рдореЗрдВ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рдиреЗ рд╡рд╛рд▓рд╛ рд▓рдШреБрдЧрдгрдХ рдЖрдзрд╛рд░ред рдЖрдзрд╛рд░ рдмрджрд▓рдиреЗ рд╕реЗ рдХреЗрд╡рд▓ рдкреНрд░рддреНрдпреЗрдХ IDF рдХреЛ рдПрдХ рд╕реНрдерд┐рд░рд╛рдВрдХ рд╕реЗ рдЧреБрдгрд╛ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ тАФ \(\ln x = \log_{10}x \times \ln 10 \approx 2.3026\,\log_{10}x\) тАФ рдЗрд╕рд▓рд┐рдП рд╢рд░реНрддреЛрдВ рдХрд╛ рд░реИрдВрдХрд┐рдВрдЧ рдЕрдкрд░рд┐рд╡рд░реНрддрд┐рдд рд╣реИ рдЬрдмрдХрд┐ рдкреВрд░реНрдг рд╕рдВрдЦреНрдпрд╛рдПрдВ рдирд╣реАрдВ рд╣реИрдВред рд╣рдореЗрд╢рд╛ рдХрд╣реЗрдВ рдХрд┐ рдЖрдк рдХрд┐рд╕ рдЖрдзрд╛рд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВред |
| рд╢рдмреНрджрд╛рд╡рд▓реА | \(V\) | рдЯреЛрдХрдирд╛рдЗрдЬрд╝реЗрд╢рди рдХреЗ рдмрд╛рдж рдХреЛрд░реНрдкрд╕ рднрд░ рдореЗрдВ рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╢рд░реНрддреЛрдВ рдХрд╛ рд╕рдореВрд╣ред рдЗрд╕рдХрд╛ рдЖрдХрд╛рд░ TF-IDF рд╡реЗрдХреНрдЯрд░ рд╕реНрдкреЗрд╕ рдХреА рдЖрдпрд╛рдорддрд╛ рд╣реИред |
рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ TF-IDF рд╕реВрддреНрд░реЛрдВ рдХрд╛ рдПрдХ рдкрд░рд┐рд╡рд╛рд░ рд╣реИ рдмрдЬрд╛рдп рдПрдХ рд╣реА рд╕реВрддреНрд░ рдХреЗ: рд╡реЗрд░рд┐рдПрдВрдЯ рдореЗрдВ рдХрдЪреНрдЪреА-рдЧрдгрдирд╛ TF, рд▓реЙрдЧ-рд╕рд╛рдорд╛рдиреНрдпрдХреГрдд TF \(1 + \ln(tf)\), рд╕рдВрд╡рд░реНрдзрд┐рдд TF, рдФрд░ рдЕрд╕рдорд░реНрдерд┐рдд рдпрд╛ рд╕рдВрднрд╛рд╡реНрдп IDF рд╢рд╛рдорд┐рд▓ рд╣реИрдВред рд╡рд┐рднрд┐рдиреНрди рд╡реЗрд░рд┐рдПрдВрдЯ рд╕реЗ рд╕реНрдХреЛрд░ рдХреЛ рдХрднреА рднреА рд╕реАрдзреЗ рддреБрд▓рдирд╛ рдирд╣реАрдВ рдХреА рдЬрд╛рдиреА рдЪрд╛рд╣рд┐рдПред
рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╕рд╡рд╛рд▓
IDF рдореЗрдВ рд▓рдШреБрдЧрдгрдХ (log) рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХреНрдпреЛрдВ? log рдмреЗрд╣рдж рджреБрд░реНрд▓рдн рд╢рдмреНрджреЛрдВ рдХреЗ рдЕрд╕рд░ рдХреЛ рдирд░рдо рдХрд░ рджреЗрддрд╛ рд╣реИ, рддрд╛рдХрд┐ рдХреЛрдИ рдПрдХ рд╣реА рдмрд╛рд░ рдЖрдпрд╛ рд╢рдмреНрдж рдкреВрд░реЗ рд╕реНрдХреЛрд░ рдкрд░ рд╣рд╛рд╡реА рди рд╣реЛ рдЬрд╛рдП рдФрд░ рдирддреАрдЬреЗ рд╕рдВрддреБрд▓рд┐рдд рд░рд╣реЗрдВред
рдХреМрди-рд╕рд╛ log рдЖрдзрд╛рд░ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░реВрдБ? рдЖрдзрд╛рд░ 10 рдФрд░ рдкреНрд░рд╛рдХреГрддрд┐рдХ рд▓рдШреБрдЧрдгрдХ (\(\ln\)) тАФ рджреЛрдиреЛрдВ рдЖрдо рд╣реИрдВред рдЖрдзрд╛рд░ рдмрджрд▓рдиреЗ рд╕реЗ рд╕рднреА рдирддреАрдЬреЗ рдПрдХ рд╕рдорд╛рди рдЕрдиреБрдкрд╛рдд рдореЗрдВ рдмрдврд╝рддреЗ-рдШрдЯрддреЗ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рдПрдХ рд╣реА рдХреЙрд░реНрдкрд╕ рдХреЗ рднреАрддрд░ рддреБрд▓рдирд╛ рд╣рдореЗрд╢рд╛ рд╕рд╣реА рд░рд╣рддреА рд╣реИред
рд╢реВрдиреНрдп рд╕реНрдХреЛрд░ рдХрд╛ рдХреНрдпрд╛ рдорддрд▓рдм рд╣реИ? рдЕрдЧрд░ рдХреЛрдИ рд╢рдмреНрдж рд╣рд░ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдЖрддрд╛ рд╣реИ (\(N = \) рд╢рдмреНрдж рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝), рддреЛ \(\text{IDF} = \log(1) = 0\) рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ TF-IDF рд╕реНрдХреЛрд░ рднреА рд╢реВрдиреНрдп рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ тАФ рдпрд╛рдиреА рд╡рд╣ рд╢рдмреНрдж рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреЛ рдЕрд▓рдЧ рдкрд╣рдЪрд╛рдирдиреЗ рдореЗрдВ рдХреЛрдИ рдХрд╛рдо рдХрд╛ рдирд╣реАрдВ рд░рд╣рддрд╛ред