Lehekülje Tf–idf lähteteksti vaatamine

{{ToimetaAeg|kuu=jaanuar|aasta=2007}}
'''Tf–idf''' ([[inglise keel|inglise]] ''term frequency–inverse document frequency'') on statistiline mõõt, mida kasutatakse tihti infootsingus ja [[Andmekaeve|andmekaevanduses]]. Seda mõõtu kasutatakse sõnade tähtsuse hindamiseks tekstikorpuses. Enamasti kasvab sõna tähtsus proportsionaalselt sõna esinemissagedusega. Sellele loogikale ei allu väga tihti kasutatavad sõnad (näiteks [[sidesõna]]d, [[asesõna]]d jms), mille esinemissagedus on küll suur, aga tähtsus tekstis väike.

Niisiis võib kirjeldada tf-i (''term frequency'') ehk termini sagedust järgmiselt: 

<math> \mathrm{tf} = \frac{n_i}{\sum_k n_k}</math> 

kus termini esinemissagedus tekstis (<math>n_i</math>) on jagatud sõnade hulgaga tekstis.

Idf-iga mõõdetakse termini üldist tähtsust järgmise valemi abil: 

<math> \mathrm{idf} =  \log \frac{|D|}{|(d_{i}\supset t_{i})|}</math>

kus |D| on tekstide arv korpuses ja <math> |(d_{i}\supset t_{i})| </math> tekstide arv, kus termin <math> t_{i} </math> esineb.

Tf–idf on seega järgmine:

<math> \mathrm{tfidf} = \mathrm{tf} \cdot  \mathrm{idf} </math>

[[Kategooria:Matemaatika]]
[[Kategooria:Keeleteadus]]