Tf–idf

Mall:ToimetaAeg Tf–idf (inglise term frequency–inverse document frequency) on statistiline mõõt, mida kasutatakse tihti infootsingus ja andmekaevanduses. Seda mõõtu kasutatakse sõnade tähtsuse hindamiseks tekstikorpuses. Enamasti kasvab sõna tähtsus proportsionaalselt sõna esinemissagedusega. Sellele loogikale ei allu väga tihti kasutatavad sõnad (näiteks sidesõnad, asesõnad jms), mille esinemissagedus on küll suur, aga tähtsus tekstis väike.

Niisiis võib kirjeldada tf-i (term frequency) ehk termini sagedust järgmiselt:

$\mathrm{t}\mathrm{f}=\frac{n_i}{\sum _k{n}_k}$

kus termini esinemissagedus tekstis ($n_i$) on jagatud sõnade hulgaga tekstis.

Idf-iga mõõdetakse termini üldist tähtsust järgmise valemi abil:

$\mathrm{i}\mathrm{d}\mathrm{f}=\log \frac{|D|}{|(d_i\supset t_i)|}$

kus |D| on tekstide arv korpuses ja $|(d_i\supset t_i)|$ tekstide arv, kus termin $t_i$ esineb.

Tf–idf on seega järgmine:

$\mathrm{t}\mathrm{f}\mathrm{i}\mathrm{d}\mathrm{f}=\mathrm{t}\mathrm{f}\cdot \mathrm{i}\mathrm{d}\mathrm{f}$