TF-IDF

Die Artikel Termfrequenz, Suchwortdichte und TF-IDF überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zu vereinigen. Beteilige dich dazu an der Diskussion über diese Überschneidungen. Bitte entferne diesen Baustein erst nach vollständiger Abarbeitung der Redundanz. Cjesch 13:32, 11. Dez. 2006 (CET)

tf-idf (term frequency - inverse document frequency) ist eine Gewichtungsmethode für Terme (Schlüsselwörter) beim Information Retrieval. Die term frequency (Termfrequenz) in einem gegebenen Dokument gibt einen Hinweis auf die Bedeutung dieses Terms für das Dokument. Die inverse document frequency (Inverse Dokumenthäufigkeit) misst die allgemeine Bedeutung des Terms für die Gesamtmenge der betrachteten Dokumente.

$tf_{i,j} = \frac{freq_{i,j}}{max_l( freq_{l,j})}$ wird pro Term i abhängig vom Dokument j betrachtet. freq_i,j ist die Auftrittshäufigkeit des betrachteten Terms i im Dokument j. Im Nenner steht die Maximalhäufigkeit über alle k Terme im Dokument (Baeza-Yates und Ribeiro-Neto, 1999).

Die inverse Dokumentfrequenz idf hängt hingegen nicht vom einzelnen Dokument, sondern vom Dokumentkorpus, der Gesamtmenge aller Dokumente im Retrievalszenario, D ab:

$idf_i = \log \frac{N}{n_i}$

Hier ist N = | D | die Anzahl der Dokumente im Korpus und n_i die Anzahl der Dokumente, die Term i beinhalten.

Das Gewicht w eines Terms i im Dokument j ist dann nach TF-IDF:

$w_{i,j} = tf_{i,j} \cdot idf_i = \frac{freq_{i,j}}{max_l( freq_{l,j})} \cdot \log \frac{N}{n_i}$

Literatur

• R. Baeza-Yates, B. Ribeiro-Neto: Modern Information Retrieval. Addison Wesley / ACM Press, New York 1999, 0-201-39829-X.