TF-IDF рдХреИрд▓рдХреБрд▓реЗрдЯрд░

TF-IDF рдХреИрд▓рдХреБрд▓реЗрдЯрд░

рдЕрдЧреНрд░рдгреА AI Skill PRO

рдЧрдгрдирд╛ рджрд░реНрдЬ рдХрд░реЗрдВ

рд╕реВрддреНрд░ (рдлреЙрд░реНрдореВрд▓рд╛)

TF-IDF=TF├ЧIDFрдЬрд╣рд╛рдБ{TF=рдХреА рдЧрд┐рдирддреА┬ардЯрд░реНрдо┬аin┬арджрд╕реНрддрд╛рд╡реЗрдЬрд╝рдореЗрдВ рдХреБрд▓ рд╢рдмреНрдж┬арджрд╕реНрддрд╛рд╡реЗрдЬрд╝IDF=lnтБб(1+рдХреЙрд░реНрдкрд╕ рдЖрдХрд╛рд░рдЯрд░реНрдо рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝+1)\begin{gathered} \text{TF-IDF} = \text{TF} \times \text{IDF} \\[1.5em] \text{рдЬрд╣рд╛рдБ}\quad \left\{ \begin{aligned} \text{TF} &= \dfrac{\text{рдХреА рдЧрд┐рдирддреА }\text{рдЯрд░реНрдо}\text{ in }\text{рджрд╕реНрддрд╛рд╡реЗрдЬрд╝}}{\text{рдореЗрдВ рдХреБрд▓ рд╢рдмреНрдж }\text{рджрд╕реНрддрд╛рд╡реЗрдЬрд╝}} \\[0.6em] \text{IDF} &= \ln\!\left(1 + \dfrac{\text{рдХреЙрд░реНрдкрд╕ рдЖрдХрд╛рд░}}{\text{рдЯрд░реНрдо рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝} + 1}\right) \end{aligned} \right. \end{gathered}
рдЙрдкрдпреЛрдЧ рдЖрдБрдХрдбрд╝реЗ

рд╡рд┐рдЬреНрдЮрд╛рдкрди

рдкрд░рд┐рдгрд╛рдо

рдЯрд░реНрдо рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА (TF) 0.125
рдЗрдирд╡рд░реНрд╕ рдбреЙрдХреНрдпреВрдореЗрдВрдЯ рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА (IDF) 2.3889
TF-IDF рд╕реНрдХреЛрд░ 0.2986

рджреГрд╢реНрдп рдкреНрд░рд╕реНрддреБрддрд┐

TF: 0.125
IDF: 2.3889
TF-IDF: 0.2986
TF
IDF
TF-IDF

рдЗрд╕ рдкреЗрдЬ рдкрд░ рддреНрд░реБрдЯрд┐ рдХреА рд░рд┐рдкреЛрд░реНрдЯ рдХрд░реЗрдВ

TF-IDF рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдХреНрдпрд╛ рд╣реИ?

TF-IDF (рдЯрд░реНрдо рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реАтАУрдЗрдирд╡рд░реНрд╕ рдбреЙрдХреНрдпреВрдореЗрдВрдЯ рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА) рдПрдХ рд╕рдВрдЦреНрдпрд╛рддреНрдордХ рдорд╛рдк рд╣реИ рдЬрд┐рд╕рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдЗрдиреНрдлрд╝реЙрд░реНрдореЗрд╢рди рд░рд┐рдЯреНрд░реАрд╡рд▓, рд╕рд░реНрдЪ рдЗрдВрдЬрди рдФрд░ рдЯреЗрдХреНрд╕реНрдЯ рдорд╛рдЗрдирд┐рдВрдЧ рдореЗрдВ рд╣реЛрддрд╛ рд╣реИред рдпрд╣ рдмрддрд╛рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рдмрдбрд╝реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рд╕рдВрдЧреНрд░рд╣ (рдЬрд┐рд╕реЗ рдХреЙрд░реНрдкрд╕ рдХрд╣рддреЗ рд╣реИрдВ) рдХреЗ рднреАрддрд░ рдПрдХ рдЦрд╛рд╕ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреЗ рд▓рд┐рдП рдХреЛрдИ рд╢рдмреНрдж рдХрд┐рддрдирд╛ рдорд╣рддреНрд╡рдкреВрд░реНрдг рд╣реИред рдЗрд╕ рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдореЗрдВ рдЖрдк рдПрдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝, рдПрдХ рд▓рдХреНрд╖рд┐рдд рд╢рдмреНрдж (рдЯрд░реНрдо), рдХреЙрд░реНрдкрд╕ рдореЗрдВ рдореМрдЬреВрдж рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рдХреБрд▓ рд╕рдВрдЦреНрдпрд╛, рдФрд░ рдЙрдирдореЗрдВ рд╕реЗ рдХрд┐рддрдиреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рд╡рд╣ рд╢рдмреНрдж рдЖрддрд╛ рд╣реИ тАФ рдпрд╣ рд╕рдм рджрд░реНрдЬ рдХрд░ рд╕рдХрддреЗ рд╣реИрдВред рдлрд┐рд░ рдпрд╣ рдЯрд░реНрдо рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА (TF), рдЗрдирд╡рд░реНрд╕ рдбреЙрдХреНрдпреВрдореЗрдВрдЯ рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА (IDF) рдФрд░ рджреЛрдиреЛрдВ рдХреЛ рдорд┐рд▓рд╛рдХрд░ рдмрдирдиреЗ рд╡рд╛рд▓рд╛ TF-IDF рд╕реНрдХреЛрд░ рдирд┐рдХрд╛рд▓ рджреЗрддрд╛ рд╣реИред

рдЗрд╕рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХреИрд╕реЗ рдХрд░реЗрдВ

  • рджрд╕реНрддрд╛рд╡реЗрдЬрд╝: рдЬрд┐рд╕ рдЯреЗрдХреНрд╕реНрдЯ рдХрд╛ рд╡рд┐рд╢реНрд▓реЗрд╖рдг рдХрд░рдирд╛ рд╣реИ, рдЙрд╕реЗ рдпрд╣рд╛рдБ рдкреЗрд╕реНрдЯ рдХрд░реЗрдВред
  • рдЯрд░реНрдо: рдЬрд┐рд╕ рдПрдХ рд╢рдмреНрдж рдпрд╛ рд╡рд╛рдХреНрдпрд╛рдВрд╢ рдХрд╛ рд╕реНрдХреЛрд░ рдирд┐рдХрд╛рд▓рдирд╛ рд╣реИ, рдЙрд╕реЗ рджрд░реНрдЬ рдХрд░реЗрдВред
  • рдХреЙрд░реНрдкрд╕ рдЖрдХрд╛рд░: рдЖрдкрдХреЗ рд╕рдВрдЧреНрд░рд╣ рдореЗрдВ рдореМрдЬреВрдж рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рдХреБрд▓ рд╕рдВрдЦреНрдпрд╛ (\(N\))ред
  • рдЯрд░реНрдо рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝: рдХрд┐рддрдиреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рд╡рд╣ рд╢рдмреНрдж рдХрдо-рд╕реЗ-рдХрдо рдПрдХ рдмрд╛рд░ рдЖрддрд╛ рд╣реИред

рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рдкрд╣рд▓реЗ рдЧрд┐рдирддрд╛ рд╣реИ рдХрд┐ рд╡рд╣ рд╢рдмреНрдж рдЖрдкрдХреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдХрд┐рддрдиреА рдмрд╛рд░ рдЖрддрд╛ рд╣реИ, рдлрд┐рд░ рдЗрд╕реЗ рдХреБрд▓ рд╢рдмреНрджреЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛ рд╕реЗ рднрд╛рдЧ рджреЗрддрд╛ рд╣реИ, рдФрд░ рдЕрдВрдд рдореЗрдВ рдЗрд╕реЗ рдкреВрд░реЗ рдХреЙрд░реНрдкрд╕ рдореЗрдВ рдЙрд╕ рд╢рдмреНрдж рдХреА рджреБрд░реНрд▓рднрддрд╛ рдХреЗ рд╕рд╛рде рдЬреЛрдбрд╝ рджреЗрддрд╛ рд╣реИред

рдлрд╝реЙрд░реНрдореВрд▓рд╛ рд╕рдордЭреЗрдВ

рдорд╛рдирдХ TF-IDF рдлрд╝реЙрд░реНрдореВрд▓рд╛ рдЗрд╕ рдкреНрд░рдХрд╛рд░ рд╣реИ:

  • TF \(= \dfrac{\text{рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рд╢рдмреНрдж рдХрд┐рддрдиреА рдмрд╛рд░ рдЖрдпрд╛}}{\text{рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдХреБрд▓ рд╢рдмреНрдж}}\)
  • IDF \(= \log\!\left(\dfrac{N}{\text{рд╢рдмреНрдж рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛}}\right)\)
  • TF-IDF \(= \text{TF} \times \text{IDF}\)

$$\begin{gathered} \text{TF-IDF} = \text{TF} \times \text{IDF} \\[1.5em] \text{where}\quad \left\{ \begin{aligned} \text{TF} &= \dfrac{\text{count of }\text{Term}\text{ in }\text{Document}}{\text{total words in }\text{Document}} \\[0.6em] \text{IDF} &= \ln\!\left(1 + \dfrac{\text{Corpus Size}}{\text{Docs with Term} + 1}\right) \end{aligned} \right. \end{gathered}$$

рдКрдБрдЪрд╛ TF-IDF рд╕реНрдХреЛрд░ рдЗрд╕рдХрд╛ рд╕рдВрдХреЗрдд рд╣реИ рдХрд┐ рд╢рдмреНрдж рдЖрдкрдХреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдмрд╛рд░-рдмрд╛рд░ рдЖрддрд╛ рд╣реИ рдкрд░ рдкреВрд░реЗ рдХреЙрд░реНрдкрд╕ рдореЗрдВ рдХрдо тАФ рдпрд╛рдиреА рд╡рд╣ рд╢рдмреНрдж рдЙрд╕ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреЗ рд▓рд┐рдП рд╡рд┐рд╢рд┐рд╖реНрдЯ рдФрд░ рдЕрд░реНрдердкреВрд░реНрдг рд╣реИред

рд╡рд┐рдЬреНрдЮрд╛рдкрди
рдЧреНрд░рд╛рдлрд╝ рдЬреЛ рджрд┐рдЦрд╛рддрд╛ рд╣реИ рдХрд┐ рдХрд┐рд╕реА рд╢рдмреНрдж рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдмрдврд╝рдиреЗ рдкрд░ IDF рднрд╛рд░ рдХреИрд╕реЗ рдШрдЯрддрд╛ рд╣реИ
рджреБрд░реНрд▓рдн рд╢рдмреНрджреЛрдВ рдХреЛ рдЕрдзрд┐рдХ IDF рднрд╛рд░ рдорд┐рд▓рддрд╛ рд╣реИ; рдХрдИ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рдЖрдо рд╢рдмреНрджреЛрдВ рдХрд╛ рднрд╛рд░ рдШрдЯрд╛ рджрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред

рд╣рд▓ рдХрд┐рдпрд╛ рдЧрдпрд╛ рдЙрджрд╛рд╣рд░рдг

рдорд╛рди рд▓реАрдЬрд┐рдП рдЖрдкрдХреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ 100 рд╢рдмреНрдж рд╣реИрдВ рдФрд░ "marketing" рд╢рдмреНрдж 5 рдмрд╛рд░ рдЖрддрд╛ рд╣реИред рдЖрдкрдХреЗ рдХреЙрд░реНрдкрд╕ рдореЗрдВ 1,000 рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рд╣реИрдВ, рдЬрд┐рдирдореЗрдВ рд╕реЗ 100 рдореЗрдВ "marketing" рдХрд╛ рдЬрд╝рд┐рдХреНрд░ рд╣реИред

  • $$\text{TF} = \frac{5}{100} = 0.05$$
  • $$\text{IDF} = \log\!\left(\frac{1000}{100}\right) = \log(10) = 1 \quad (\text{рдЖрдзрд╛рд░ } 10)$$
  • $$\text{TF-IDF} = 0.05 \times 1 = 0.05$$

рдЕрдЧрд░ "marketing" рд╕рд┐рд░реНрдлрд╝ 10 рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рдЖрддрд╛, рддреЛ IDF рдмрдврд╝рдХрд░ \(\log(100) = 2\) рд╣реЛ рдЬрд╛рддрд╛, рдФрд░ рд╕реНрдХреЛрд░ рджреЛрдЧреБрдирд╛ рд╣реЛрдХрд░ 0.10 рд╣реЛ рдЬрд╛рддрд╛ тАФ рдпрд╛рдиреА рджреБрд░реНрд▓рдн рдФрд░ рдЬрд╝реНрдпрд╛рджрд╛ рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╢рдмреНрджреЛрдВ рдХреЛ рдЬрд╝реНрдпрд╛рджрд╛ рдорд╣рддреНрд╡ рдорд┐рд▓рддрд╛ рд╣реИред

рдореБрдЦреНрдп рд╢рд░реНрддреЗрдВ рдФрд░ рдЪрд░

рд╢рд░реНрдд рдкреНрд░рддреАрдХ рдкрд░рд┐рднрд╛рд╖рд╛
рд╢рд░реНрдд \(t\) рд╢рдмреНрдж, рд╕реНрдЯреЗрдо рдпрд╛ рд╡рд╛рдХреНрдпрд╛рдВрд╢ рдХрд╛ рдЕрдВрдХ рджрд┐рдпрд╛ рдЬрд╛ рд░рд╣рд╛ рд╣реИред рдЬреЛ рднреА рдПрдХ рд╢рд░реНрдд рдХреЗ рд░реВрдк рдореЗрдВ рдЧрд┐рдирд╛ рдЬрд╛рддрд╛ рд╣реИ рдЙрд╕реЗ рдкреВрд░реЗ рдХреЛрд░реНрдкрд╕ рдореЗрдВ рд╕реБрд╕рдВрдЧрдд рддрд░реАрдХреЗ рд╕реЗ рдкрд░рд┐рднрд╛рд╖рд┐рдд рдХрд┐рдпрд╛ рдЬрд╛рдирд╛ рдЪрд╛рд╣рд┐рдПред
рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ \(d\) рдкрд╛рда рдХреА рдПрдХ рдЗрдХрд╛рдИ рдЬрд┐рд╕рдХрд╛ рдЕрдВрдХ рджрд┐рдпрд╛ рдЬрд╛ рд░рд╣рд╛ рд╣реИ тАФ рдПрдХ рд▓реЗрдЦ, рдПрдХ рдкреГрд╖реНрда, рдПрдХ рдЙрддреНрдкрд╛рдж рд╡рд┐рд╡рд░рдг, рдПрдХ рд╕рдорд░реНрдерди рдЯрд┐рдХрдЯред TF рд╣рдореЗрд╢рд╛ рдПрдХ рдПрдХрд▓ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреЗ рд╕рд╛рдкреЗрдХреНрд╖ рд╣реЛрддрд╛ рд╣реИред
рдХреЛрд░реНрдкрд╕ \(D\) рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХрд╛ рд╕рдВрдкреВрд░реНрдг рд╕рдВрдЧреНрд░рд╣ рдЬрд┐рд╕рдХреЗ рд╡рд┐рд░реБрджреНрдз рджреБрд░реНрд▓рднрддрд╛ рдХрд╛ рдиреНрдпрд╛рдп рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИред IDF рдХреЛрд░реНрдкрд╕ рдХреА рдПрдХ рд╕рдВрдкрддреНрддрд┐ рд╣реИ, рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреА рдирд╣реАрдВред
рдХреЛрд░реНрдкрд╕ рдХрд╛ рдЖрдХрд╛рд░ \(N\) рдХреЛрд░реНрдкрд╕ рдореЗрдВ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рд╕рдВрдЦреНрдпрд╛, рдЬрд┐рд╕рдореЗрдВ рд╡рд╣ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рднреА рд╢рд╛рдорд┐рд▓ рд╣реИ рдЬрд┐рд╕рдХрд╛ рдЕрдВрдХ рджрд┐рдпрд╛ рдЬрд╛ рд░рд╣рд╛ рд╣реИред
рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдЖрд╡реГрддреНрддрд┐ \(df\) рдХрд┐рддрдиреЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рдХрдо рд╕реЗ рдХрдо рдПрдХ рдмрд╛рд░ рд╢рд░реНрдд рджрд┐рдЦрд╛рдИ рджреЗрддреА рд╣реИред рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреА рдПрдХ рдЧрдгрдирд╛, рдХрднреА рднреА рдШрдЯрдирд╛рдУрдВ рдХреА рдирд╣реАрдВ, рдЗрд╕рд▓рд┐рдП \(0 \le df \le N\)ред
рдХрдЪреНрдЪреА рд╢рд░реНрдд рдЧрдгрдирд╛ \(tf\) рд╢рд░реНрдд рдПрдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреЗ рдЕрдВрджрд░ рдХрд┐рддрдиреА рдмрд╛рд░ рд╣реЛрддреА рд╣реИ тАФ рдЕрдирд┐рдпрдВрддреНрд░рд┐рдд рдЧрдгрдирд╛ред
рд╢рд░реНрдд рдЖрд╡реГрддреНрддрд┐ TF рдЕрдиреБрдкрд╛рддрд┐рдд рдЧрдгрдирд╛, \(tf\) рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреА рдХреБрд▓ рд╢рдмреНрдж рдЧрдгрдирд╛ рд╕реЗ рд╡рд┐рднрд╛рдЬрд┐рддред 0 рдФрд░ 1 рдХреЗ рдмреАрдЪ рдПрдХ рдЕрдиреБрдкрд╛рдд рдЬреЛ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдХреА рд▓рдВрдмрд╛рдИ рдХреЗ рдкреНрд░рднрд╛рд╡ рдХреЛ рджреВрд░ рдХрд░рддрд╛ рд╣реИред
рд╡реНрдпреБрддреНрдХреНрд░рдо рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдЖрд╡реГрддреНрддрд┐ IDF рд╡реИрд╢реНрд╡рд┐рдХ рджреБрд░реНрд▓рднрддрд╛ рдХрд╛ рдПрдХ рд▓рдШреБрдЧрдгрдХреАрдп рдорд╛рдкред рдЬрдм рд╢рд░реНрдд рдХреБрдЫ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рджрд┐рдЦрд╛рдИ рджреЗрддреА рд╣реИ рддреЛ рдмрдбрд╝реА, рдЬрдм рдпрд╣ рдХрдИ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдореЗрдВ рджрд┐рдЦрд╛рдИ рджреЗрддреА рд╣реИ рддреЛ рдЫреЛрдЯреАред
TF-IDF тАФ рдЧреБрдгрдирдлрд▓ \(\text{TF} \times \text{IDF}\): рдЬрдм рдХреЛрдИ рд╢рд░реНрдд рд╕реНрдерд╛рдиреАрдп рд░реВрдк рд╕реЗ рдЕрдХреНрд╕рд░ рдФрд░ рд╡рд┐рд╢реНрд╡ рд╕реНрддрд░ рдкрд░ рджреБрд░реНрд▓рдн рд╣реЛрддреА рд╣реИ рддреЛ рдЙрдЪреНрдЪред
рдЯреЛрдХрдирд╛рдЗрдЬрд╝реЗрд╢рди тАФ рдХрдЪреНрдЪреЗ рдкрд╛рда рдХреЛ рдЧрдгрдиреАрдп рдЯреЛрдХрди рдореЗрдВ рд╡рд┐рднрд╛рдЬрд┐рдд рдХрд░рдирд╛ тАФ рдЖрдо рддреМрд░ рдкрд░ рд▓реЛрдЕрд░рдХреЗрд╕рд┐рдВрдЧ, рд╡рд┐рд░рд╛рдо рдЪрд┐рдиреНрд╣ рд╣рдЯрд╛рдирд╛, рдФрд░ рдпрд╣ рддрдп рдХрд░рдирд╛ рдХрд┐ рд╕рдВрдЦреНрдпрд╛рдУрдВ, рд╣рд╛рдЗрдлрди рдФрд░ рд╕рдВрдХреБрдЪрди рдХреЛ рдХреИрд╕реЗ рд╡реНрдпрд╡рд╣рд╛рд░ рдХрд┐рдпрд╛ рдЬрд╛рдПред рдпрд╣ TF рд╣рд░ рдФрд░ рдХреНрдпрд╛ рдПрдХ рдореЗрд▓ рдХреЗ рд░реВрдк рдореЗрдВ рдЧрд┐рдирд╛ рдЬрд╛рддрд╛ рд╣реИ рджреЛрдиреЛрдВ рдХреЛ рдареАрдХ рдХрд░рддрд╛ рд╣реИред
рд╕реНрдЯреЙрдкрд╡рд░реНрдб тАФ рдПрдХ рдмрд╣реБрдд рд╣реА рд╕рд╛рдорд╛рдиреНрдп рдХрд╛рд░реНрдп рд╢рдмреНрдж (the, of, and, is) рдЬреЛ рд╡рд┐рд╖рдп рд╕рдВрдмрдВрдзреА рдЬрд╛рдирдХрд╛рд░реА рдмрд╣реБрдд рдХрдо рд░рдЦрддрд╛ рд╣реИред рдЕрдХреНрд╕рд░ рд╕реНрдХреЛрд░рд┐рдВрдЧ рд╕реЗ рдкрд╣рд▓реЗ рд╣рдЯрд╛рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ, рд╣рд╛рд▓рд╛рдВрдХрд┐ TF-IDF рдРрд╕реЗ рд╢рдмреНрджреЛрдВ рдХреЛ рд╕реНрд╡рдпрдВ рдХреЛ рджрдмрд╛рддрд╛ рд╣реИ рдХреНрдпреЛрдВрдХрд┐ рдЙрдирдХрд╛ IDF рдиреНрдпреВрдирддрдо рдХреЗ рдкрд╛рд╕ рд╣реИред
рд╕реНрдореВрдерд┐рдВрдЧ тАФ \(+1\) рд╢рд░реНрддреЗрдВ \(\ln(1 + N/(df+1))\) рдореЗрдВред рд╣рд░ рдореЗрдВ \(+1\) рд╢реВрдиреНрдп рд╕реЗ рд╡рд┐рднрд╛рдЬрди рдХреЛ рд░реЛрдХрддрд╛ рд╣реИ рдЬрдм \(df = 0\) (рдХреЛрд░реНрдкрд╕ рдореЗрдВ рдПрдХ рдЕрджреГрд╢реНрдп рд╢рд░реНрдд); рд▓рдШреБрдЧрдгрдХ рдХреЗ рдЕрдВрджрд░ \(+1\) рддрд░реНрдХ рдХреЛ 1 рд╕реЗ рдКрдкрд░ рд░рдЦрддрд╛ рд╣реИ, рдЗрд╕рд▓рд┐рдП рдкрд░рд┐рдгрд╛рдо рд╣рдореЗрд╢рд╛ рд╕рдЦреНрддреА рд╕реЗ рд╕рдХрд╛рд░рд╛рддреНрдордХ рд╣реЛрддрд╛ рд╣реИ рдФрд░ рдХрднреА рд╢реВрдиреНрдп рдпрд╛ рдирдХрд╛рд░рд╛рддреНрдордХ рдирд╣реАрдВ рд╣реЛрддрд╛ рд╣реИред
рд▓реЙрдЧ рдЖрдзрд╛рд░ \(\ln\), \(\log_{10}\) IDF рдореЗрдВ рдЙрдкрдпреЛрдЧ рдХрд┐рдпрд╛ рдЬрд╛рдиреЗ рд╡рд╛рд▓рд╛ рд▓рдШреБрдЧрдгрдХ рдЖрдзрд╛рд░ред рдЖрдзрд╛рд░ рдмрджрд▓рдиреЗ рд╕реЗ рдХреЗрд╡рд▓ рдкреНрд░рддреНрдпреЗрдХ IDF рдХреЛ рдПрдХ рд╕реНрдерд┐рд░рд╛рдВрдХ рд╕реЗ рдЧреБрдгрд╛ рдХрд┐рдпрд╛ рдЬрд╛рддрд╛ рд╣реИ тАФ \(\ln x = \log_{10}x \times \ln 10 \approx 2.3026\,\log_{10}x\) тАФ рдЗрд╕рд▓рд┐рдП рд╢рд░реНрддреЛрдВ рдХрд╛ рд░реИрдВрдХрд┐рдВрдЧ рдЕрдкрд░рд┐рд╡рд░реНрддрд┐рдд рд╣реИ рдЬрдмрдХрд┐ рдкреВрд░реНрдг рд╕рдВрдЦреНрдпрд╛рдПрдВ рдирд╣реАрдВ рд╣реИрдВред рд╣рдореЗрд╢рд╛ рдХрд╣реЗрдВ рдХрд┐ рдЖрдк рдХрд┐рд╕ рдЖрдзрд╛рд░ рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рддреЗ рд╣реИрдВред
рд╢рдмреНрджрд╛рд╡рд▓реА \(V\) рдЯреЛрдХрдирд╛рдЗрдЬрд╝реЗрд╢рди рдХреЗ рдмрд╛рдж рдХреЛрд░реНрдкрд╕ рднрд░ рдореЗрдВ рд╡рд┐рд╢рд┐рд╖реНрдЯ рд╢рд░реНрддреЛрдВ рдХрд╛ рд╕рдореВрд╣ред рдЗрд╕рдХрд╛ рдЖрдХрд╛рд░ TF-IDF рд╡реЗрдХреНрдЯрд░ рд╕реНрдкреЗрд╕ рдХреА рдЖрдпрд╛рдорддрд╛ рд╣реИред

рдзреНрдпрд╛рди рджреЗрдВ рдХрд┐ TF-IDF рд╕реВрддреНрд░реЛрдВ рдХрд╛ рдПрдХ рдкрд░рд┐рд╡рд╛рд░ рд╣реИ рдмрдЬрд╛рдп рдПрдХ рд╣реА рд╕реВрддреНрд░ рдХреЗ: рд╡реЗрд░рд┐рдПрдВрдЯ рдореЗрдВ рдХрдЪреНрдЪреА-рдЧрдгрдирд╛ TF, рд▓реЙрдЧ-рд╕рд╛рдорд╛рдиреНрдпрдХреГрдд TF \(1 + \ln(tf)\), рд╕рдВрд╡рд░реНрдзрд┐рдд TF, рдФрд░ рдЕрд╕рдорд░реНрдерд┐рдд рдпрд╛ рд╕рдВрднрд╛рд╡реНрдп IDF рд╢рд╛рдорд┐рд▓ рд╣реИрдВред рд╡рд┐рднрд┐рдиреНрди рд╡реЗрд░рд┐рдПрдВрдЯ рд╕реЗ рд╕реНрдХреЛрд░ рдХреЛ рдХрднреА рднреА рд╕реАрдзреЗ рддреБрд▓рдирд╛ рдирд╣реАрдВ рдХреА рдЬрд╛рдиреА рдЪрд╛рд╣рд┐рдПред

рд╡рд┐рдЬреНрдЮрд╛рдкрди
рдЖрд░реЗрдЦ рдЬреЛ TF-IDF рдХреЛ рдЯрд░реНрдо рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА рдФрд░ рдЗрдирд╡рд░реНрд╕ рдбреЙрдХреНрдпреВрдореЗрдВрдЯ рдлрд╝реНрд░реАрдХреНрд╡реЗрдВрд╕реА рдХреЗ рдЧреБрдгрдирдлрд▓ рдХреЗ рд░реВрдк рдореЗрдВ рджрд░реНрд╢рд╛рддрд╛ рд╣реИ
TF-IDF рдХрд┐рд╕реА рд╢рдмреНрдж рдХреА рдПрдХ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдЖрд╡реГрддреНрддрд┐ рдХреЛ рдЗрд╕ рдмрд╛рдд рд╕реЗ рдЬреЛрдбрд╝рддрд╛ рд╣реИ рдХрд┐ рд╡рд╣ рдкреВрд░реЗ рдХреЙрд░реНрдкрд╕ рдореЗрдВ рдХрд┐рддрдирд╛ рджреБрд░реНрд▓рдн рд╣реИред

рдЕрдХреНрд╕рд░ рдкреВрдЫреЗ рдЬрд╛рдиреЗ рд╡рд╛рд▓реЗ рд╕рд╡рд╛рд▓

IDF рдореЗрдВ рд▓рдШреБрдЧрдгрдХ (log) рдХрд╛ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХреНрдпреЛрдВ? log рдмреЗрд╣рдж рджреБрд░реНрд▓рдн рд╢рдмреНрджреЛрдВ рдХреЗ рдЕрд╕рд░ рдХреЛ рдирд░рдо рдХрд░ рджреЗрддрд╛ рд╣реИ, рддрд╛рдХрд┐ рдХреЛрдИ рдПрдХ рд╣реА рдмрд╛рд░ рдЖрдпрд╛ рд╢рдмреНрдж рдкреВрд░реЗ рд╕реНрдХреЛрд░ рдкрд░ рд╣рд╛рд╡реА рди рд╣реЛ рдЬрд╛рдП рдФрд░ рдирддреАрдЬреЗ рд╕рдВрддреБрд▓рд┐рдд рд░рд╣реЗрдВред

рдХреМрди-рд╕рд╛ log рдЖрдзрд╛рд░ рдЗрд╕реНрддреЗрдорд╛рд▓ рдХрд░реВрдБ? рдЖрдзрд╛рд░ 10 рдФрд░ рдкреНрд░рд╛рдХреГрддрд┐рдХ рд▓рдШреБрдЧрдгрдХ (\(\ln\)) тАФ рджреЛрдиреЛрдВ рдЖрдо рд╣реИрдВред рдЖрдзрд╛рд░ рдмрджрд▓рдиреЗ рд╕реЗ рд╕рднреА рдирддреАрдЬреЗ рдПрдХ рд╕рдорд╛рди рдЕрдиреБрдкрд╛рдд рдореЗрдВ рдмрдврд╝рддреЗ-рдШрдЯрддреЗ рд╣реИрдВ, рдЗрд╕рд▓рд┐рдП рдПрдХ рд╣реА рдХреЙрд░реНрдкрд╕ рдХреЗ рднреАрддрд░ рддреБрд▓рдирд╛ рд╣рдореЗрд╢рд╛ рд╕рд╣реА рд░рд╣рддреА рд╣реИред

рд╢реВрдиреНрдп рд╕реНрдХреЛрд░ рдХрд╛ рдХреНрдпрд╛ рдорддрд▓рдм рд╣реИ? рдЕрдЧрд░ рдХреЛрдИ рд╢рдмреНрдж рд╣рд░ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝ рдореЗрдВ рдЖрддрд╛ рд╣реИ (\(N = \) рд╢рдмреНрдж рд╡рд╛рд▓реЗ рджрд╕реНрддрд╛рд╡реЗрдЬрд╝), рддреЛ \(\text{IDF} = \log(1) = 0\) рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ, рдЬрд┐рд╕рд╕реЗ TF-IDF рд╕реНрдХреЛрд░ рднреА рд╢реВрдиреНрдп рд╣реЛ рдЬрд╛рддрд╛ рд╣реИ тАФ рдпрд╛рдиреА рд╡рд╣ рд╢рдмреНрдж рджрд╕реНрддрд╛рд╡реЗрдЬрд╝реЛрдВ рдХреЛ рдЕрд▓рдЧ рдкрд╣рдЪрд╛рдирдиреЗ рдореЗрдВ рдХреЛрдИ рдХрд╛рдо рдХрд╛ рдирд╣реАрдВ рд░рд╣рддрд╛ред

рдЕрдВрддрд┐рдо рдЕрдкрдбреЗрдЯ:

рд╡реНрдпрд╛рдкрд╛рд░ рдФрд░ рд╡рд┐рдкрдгрди рдореЗрдВ рд╕рдмрд╕реЗ рд▓реЛрдХрдкреНрд░рд┐рдп

рд╡реНрдпрд╛рдкрд╛рд░ рдФрд░ рд╡рд┐рдкрдгрди рдХреЗ рд╕рднреА рдХреИрд▓рдХреБрд▓реЗрдЯрд░ рджреЗрдЦреЗрдВ