Markowfilter

Markowfilter

Der Markow-Filter (nach Andrei Andrejewitsch Markow) ist ein Spamfilter basierend auf einem Verborgenen Markow-Modell und stellt eine Weiterentwicklung des Bayes-Filters dar.

Während bei einem Bayes-Filter die Wahrscheinlichkeit einzelner Wörter errechnet wird, zieht der Markow-Filter Wortketten zur Ermittlung der Wahrscheinlichkeit heran und gewichtet die einzelnen Kombinationsmöglichkeiten.

Inhaltsverzeichnis

Beispiel für Gewichtung der Kombinationsmöglichkeiten

Am Beispiel des Satzes „Der schnelle braune Fuchs springt ...“ kann man die Kombinationsmöglichkeiten und Gewichtungen 22N im Markow-Filter veranschaulichen:

Wortkette Gewichtung N
Der 1 0
Der schnelle 4 1
Der <...> braune 4 1
Der <...> <...> Fuchs 4 1
Der schnelle braune 16 2
Der <...> braune Fuchs 16 2
Der schnelle <...> Fuchs 16 2
Der schnelle braune Fuchs 64 3

Formale Darstellung der Wahrscheinlichkeitsberechnung in Bayes- und Markow-Filter

Während die Wahrscheinlichkeit aufgrund des Bayes-Filters durch

P_{lokal}=0.5+\frac{P_{gut}-P_{schlecht}}{P_{gut}+P_{schlecht}+1}\;

angegeben wird, gilt für das Markow-Filter

P_{lokal}=0.5+\frac{(P_{gut}-P_{schlecht}) \cdot Gewichtung}{(P_{gut}+P_{schlecht}+1) \cdot Gewichtung_{maximal}}\;.

Literatur

  • Shalendra Chhabra, William S. Yerazunis, Christian Siefkes: Spam Filtering using a Markov Random Field Model with Variable Weighting Schemas. In: Fourth IEEE International Conference on Data Mining (ICDM'04). 2004, S. 347-350 (doi:10.1109/ICDM.2004.10031). 

Weblinks


Wikimedia Foundation.

Игры ⚽ Нужно решить контрольную?

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”