Tf-idf

Tf-idf
Redundanz Die Artikel Termfrequenz, Suchwortdichte und TF-IDF überschneiden sich thematisch. Hilf mit, die Artikel besser voneinander abzugrenzen oder zu vereinigen. Beteilige dich dazu an der Diskussion über diese Überschneidungen. Bitte entferne diesen Baustein erst nach vollständiger Abarbeitung der Redundanz. Cjesch 13:32, 11. Dez. 2006 (CET)

tf-idf (term frequency - inverse document frequency) ist eine Gewichtungsmethode für Terme (Schlüsselwörter) beim Information Retrieval. Die term frequency (Termfrequenz) in einem gegebenen Dokument gibt einen Hinweis auf die Bedeutung dieses Terms für das Dokument. Die inverse document frequency (Inverse Dokumenthäufigkeit) misst die allgemeine Bedeutung des Terms für die Gesamtmenge der betrachteten Dokumente.

 tf_{i,j} = \frac{freq_{i,j}}{max_l( freq_{l,j})} wird pro Term i abhängig vom Dokument j betrachtet. freqi,j ist die Auftrittshäufigkeit des betrachteten Terms i im Dokument j. Im Nenner steht die Maximalhäufigkeit über alle k Terme im Dokument (Baeza-Yates und Ribeiro-Neto, 1999).

Die inverse Dokumentfrequenz idf hängt hingegen nicht vom einzelnen Dokument, sondern vom Dokumentkorpus, der Gesamtmenge aller Dokumente im Retrievalszenario, D ab:

idf_i = \log \frac{N}{n_i}

Hier ist N = | D | die Anzahl der Dokumente im Korpus und ni die Anzahl der Dokumente, die Term i beinhalten.

Das Gewicht w eines Terms i im Dokument j ist dann nach TF-IDF:

w_{i,j} = tf_{i,j} \cdot idf_i = \frac{freq_{i,j}}{max_l( freq_{l,j})} \cdot \log \frac{N}{n_i}


Literatur

  • R. Baeza-Yates, B. Ribeiro-Neto: Modern Information Retrieval. Addison Wesley / ACM Press, New York 1999, 0-201-39829-X.

Wikimedia Foundation.

Игры ⚽ Поможем сделать НИР

Schlagen Sie auch in anderen Wörterbüchern nach:

  • IDF — or idf may stand for: *An Initialism: ** Intel Developer Forum ** Intermediate distribution frame (in Telephony and Computer networking) a cable rack that interconnects and manages the telecommunications wiring between a main distribution frame… …   Wikipedia

  • IDF — (Israel Defense Force) armed forces of the state of Israel …   English contemporary dictionary

  • IDF Spokesperson's Unit — The IDF Spokesperson s Unit ( *The IDF Spokesperson s Unit was established as the liaison between the IDF and the domestic and foreign media and general public. The unit performs a variety of functions, including serving as the spokesperson for… …   Wikipedia

  • IDF Achzarit — Infobox Weapon name=IDF Achzarit Mk1 caption=Achzarit in Yad la Shiryon museum, Israel is vehicle=yes type=Heavy armored personnel carrier origin=ISR designer=Israeli Defence Forces Corps of Ordnance manufacturer=NIMDA production date=1988… …   Wikipedia

  • IDF — Die Abkürzung IDF steht für: Israel Defense Forces, englisch für Israelische Streitkräfte Irish Defence Forces, englisch für Óglaigh na hÉireann, irische Streitkräfte Iceland Defense Force, eine bis 2006 bestehende US amerikanische Militäreinheit …   Deutsch Wikipedia

  • IdF — Die Abkürzung IDF steht für: Israel Defense Forces, englisch für Israelische Streitkräfte Irish Defence Forces, englisch für Óglaigh na hÉireann, irische Streitkräfte Iceland Defense Force, eine bis 2006 bestehende US amerikanische Militäreinheit …   Deutsch Wikipedia

  • Idf — Die Abkürzung IDF steht für: Israel Defense Forces, englisch für Israelische Streitkräfte Irish Defence Forces, englisch für Óglaigh na hÉireann, irische Streitkräfte Iceland Defense Force, eine bis 2006 bestehende US amerikanische Militäreinheit …   Deutsch Wikipedia

  • IDF GOC Kommando Nord — Schulter abzeichen des Pikud Tzafon Das Nordkommando (hebräisch ‏פיקוד צפון‎, Pikud Tzafon) ist eines der drei Regionalkommandos der Israelischen Streitkräfte und neben der Kontrolle des Nordabschnitts des Landes für den Schutz der Grenzen zu… …   Deutsch Wikipedia

  • IDF — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom.   Sigles d’une seule lettre   Sigles de deux lettres > Sigles de trois lettres   Sigles de quatre lettres …   Wikipédia en Français

  • IDF 1 — IDF1 Création 20 mars 2008 Slogan «  IDF1, la chaîne n°1 chez vous !  » Langue Français Pays d origine …   Wikipédia en Français

  • IDF Puma — Pour les articles homonymes, voir Puma (homonymie). IDF Puma Puma en service avec le Battalion 601 du Corps de Génie israélien. Prod …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”