Likelihood-Funktion

Likelihood-Funktion

Bei der Likelihood-Funktion handelt es sich um eine mathematische Funktion, die im Rahmen der Maximum-Likelihood-Methode verwendet wird, um Parameter einer Dichte- bzw. Wahrscheinlichkeitsfunktion zu schätzen. Die Log-Likelihood-Funktion ist die logarithmierte Likelihood-Funktion.

Inhaltsverzeichnis

Definition

Es bezeichne nun X eine Zufallsvariable mit zugehöriger Dichte- bzw. Wahrscheinlichkeitsfunktion f(x;θ). Hierbei ist θ ein (möglicherweise mehrdimensionaler) unbekannter Parameter. Weiterhin seien x_1, x_2, \dots, x_n verschiedene Realisationen dieser Zufallsvariablen. Die Likelihood-Funktion L(\theta | x_1, x_2, \dots, x_n) dieser Stichprobe ist nun definiert als die Funktion, die jedem Parameterwert θ den Wert

L(\theta|x_1,x_2,\cdots,x_n) = f(x_1,x_2,\cdots,x_n;\theta) ,

also die gemeinsame Dichte- bzw. Wahrscheinlichkeitsfunktion, zuordnet. [1]

Log-Likelihood-Funktion

Die Log-Likelihood-Funktion ist die logarithmierte Likelihood-Funktion. Sie wird meist im Zusammenhang mit der Bestimmung einer Maximum-Likelihood-Schätzung verwendet. Zur Bestimmung des Maximums der Likelihood-Funktion müssen die ersten und zweiten Ableitungen nach θ berechnet werden, sowie die Nullstellen der ersten Ableitung bestimmt werden. Um die Berechnung dieser Ableitungen zu erleichtern, verwendet man die Log-Likelihood-Funktion

\log(L(\theta)) = \log(f(x_1,x_2,\cdots,x_n;\theta)),

da in vielen Fällen die Ableitung der Log-Likelihood nach θ einfacher zu bestimmen ist als die Ableitung der Likelihood nach θ. Generell gilt: Ist θ * ein Maximum der Log-Likelihood-Funktion so ist es auch ein Maximum der Likelihood-Funktion und umgekehrt.

Eine deutliche Vereinfachung bringt die Verwendung der Log-Likelihood z. B. wenn x_1, x_2, \dots, x_n unabhängige Realisationen der Zufallsvariablen X sind. Dann ergibt sich die Likelihood-Funktion als

L(\theta) = f(x_1;\theta) \cdot f(x_2;\theta) \cdot \cdots \cdot f(x_n;\theta),

d.h. als das Produkt der eindimensionalen Dichte- bzw. Wahrscheinlichkeitsfunktionen. Die Log-Likelihood erhält man in diesem Fall durch die Summe

\log(L(\theta)) = \log(f(x_1;\theta)) + \log(f(x_2;\theta)) + \cdots + \log(f(x_n;\theta))

Beispiel

Die Normalverteilung \mathcal{N}(\mu, \sigma^2) mit Mittelwert μ und Varianz σ2 besitzt die Wahrscheinlichkeitsdichte

f\left(x ; \mu,\sigma^2\right) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp{\left(-\frac {(x-\mu)^2}{2\sigma^2} \right)}.

Sind nun x_1,\ldots,x_n unabhängige Realisationen einer Normalverteilung \mathcal{N}(m, s^2) mit unbekanntem Mittelwert und Varianz, so erhält man die entsprechende Likelihood-Funktion mit θ = (m,s) zu

L(m,s^2) = \prod_{i=1}^{n} f\left( x_{i};  m, s^2\right) = \left( \frac{1}{2\pi s^2} \right)^{n/2} \exp\left( -\frac{ \sum_{i=1}^{n}(x_i-m)^2}{2 s^2}\right)

und die Log-Likelihood-Funktion zu

\log(L(m,s^2)) = -\tfrac{n}{2} \log(2\pi s^2) - \frac{ \sum_{i=1}^{n}(x_i-m)^2}{2 s^2}.

Pseudo-Likelihood-Funktion

Für die Lösung des Maximum-Likelihood Problems ist nur das Auffinden des Maximums der Likelihoodfunktion von Belang. Dies ist einer der Gründe, warum die Maximum-Likelihood-Methode oft auch funktioniert, obwohl die Voraussetzungen nicht erfüllt sind. In den folgenden Fällen spricht man von einer Pseudo-Likelihood-Funktion:

  • die Verteilungsvoraussetzungen für die Maximum-Likelihood-Methode sind nicht erfüllt: man nennt dann die Likelihoodfunktion eine Pseudo-Likelihood-Funktion und
  • die eigentliche Likelihoodfunktion oder Loglikelihoodfunktion ist zu schwierig zu maximieren und wird z. B. durch eine geglätte Version ersetzt und diese Pseudo-Likelihood-Funktion wird dann maximiert.

Einzelnachweise

  1. Ulrich Krengel (1988), S. 157.

Literatur

  • Ulrich Krengel: Einführung in die Wahrscheinlichkeitstheorie und Statistik. Verlag Friedrich Vieweg & Sohn, Braunschweig/Wiesbaden 1988. ISBN 3-528-07259-8.

Wikimedia Foundation.

Игры ⚽ Нужен реферат?

Schlagen Sie auch in anderen Wörterbüchern nach:

  • Maximum-Likelihood-Methode — Die Maximum Likelihood Methode (von engl. maximale Wahrscheinlichkeit) bezeichnet in der Statistik ein parametrisches Schätzverfahren. Dabei wird vereinfacht so vorgegangen, dass derjenige Parameter als Schätzung ausgewählt wird, gemäß dessen… …   Deutsch Wikipedia

  • Maximum-Likelihood — Die Maximum Likelihood Methode (von engl. maximale Wahrscheinlichkeit) bezeichnet in der Statistik ein parametrisches Schätzverfahren. Inhaltsverzeichnis 1 Motivation 2 Eine heuristische Herleitung 3 Definition 4 Beispiel …   Deutsch Wikipedia

  • Maximum-Likelihood-Algorithmus — Die Maximum Likelihood Methode (von engl. maximale Wahrscheinlichkeit) bezeichnet in der Statistik ein parametrisches Schätzverfahren. Inhaltsverzeichnis 1 Motivation 2 Eine heuristische Herleitung 3 Definition 4 Beispiel …   Deutsch Wikipedia

  • Maximum-Likelihood-Schätzer — Die Maximum Likelihood Methode (von engl. maximale Wahrscheinlichkeit) bezeichnet in der Statistik ein parametrisches Schätzverfahren. Inhaltsverzeichnis 1 Motivation 2 Eine heuristische Herleitung 3 Definition 4 Beispiel …   Deutsch Wikipedia

  • Maximum-Likelihood-Schätzung — Die Maximum Likelihood Methode (von engl. maximale Wahrscheinlichkeit) bezeichnet in der Statistik ein parametrisches Schätzverfahren. Inhaltsverzeichnis 1 Motivation 2 Eine heuristische Herleitung 3 Definition 4 Beispiel …   Deutsch Wikipedia

  • Maximum Likelihood — Die Maximum Likelihood Methode (von engl. maximale Wahrscheinlichkeit) bezeichnet in der Statistik ein parametrisches Schätzverfahren. Inhaltsverzeichnis 1 Motivation 2 Eine heuristische Herleitung 3 Definition 4 Beispiel …   Deutsch Wikipedia

  • Maximum Likelihood-Schätzung — Die Maximum Likelihood Methode (von engl. maximale Wahrscheinlichkeit) bezeichnet in der Statistik ein parametrisches Schätzverfahren. Inhaltsverzeichnis 1 Motivation 2 Eine heuristische Herleitung 3 Definition 4 Beispiel …   Deutsch Wikipedia

  • Maximum-Likelihood-Methode —   [ mæksɪməm laɪklɪhʊd ; likelihood, englisch »Wahrscheinlichkeit«], mathematische Statistik: Verfahren, das die Ermittlung von Schätzfunktionen der Parameter Θ1, Θ2,. .., Θp eines Merkmals mit p parametrische Dichte (oder diskreter Dichte) f (x; …   Universal-Lexikon

  • Maximum-Likelihood-Methode — Methode zur Schätzung der Parameter von ⇡ Regressionsmodellen und ⇡ ökonometrischen Modellen. Die Parameter der Schätzfunktion werden so gewählt, dass die Wahrscheinlichkeit, genau die Beobachtungspunkte der vorliegenden Stichprobe zu erhalten,… …   Lexikon der Economics

  • Gauß-Funktion — Dichten normalverteilter Zufallsgrößen Die Normal oder Gauß Verteilung (nach Carl Friedrich Gauß) ist ein wichtiger Typ kontinuierlicher Wahrscheinlichkeitsverteilungen. Ihre Wahrscheinlichkeitsdichte wird auch Gauß Funktion, Gauß Kurve, Gauß… …   Deutsch Wikipedia

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”