Likelihood ratio

Der Likelihood-Quotienten-Test oder Likelihood-Ratio-Test ist ein statistischer Test, der zu den typischen Hypothesentests in parametrischen Modellen gehört. Viele klassische Tests wie der F-Test für den Varianzenquotienten oder der Zwei-Stichproben-t-Test lassen sich als Beispiele für Likelihood-Quotienten-Tests interpretieren.

Definition

Formal betrachtet man das typische parametrische Testproblem: Gegeben ist eine Grundmenge von Wahrscheinlichkeitsverteilungen $\;P_\theta$, abhängig von einem unbekannten Parameter $\;\theta$, der aus einer bekannten Grundmenge $\Theta\;$ stammt. Als Nullhypothese $\;H_0$ soll getestet werden, ob der Parameter zu einer echten Teilmenge $\;\Theta_0$ gehört. Also:

$H_0: \theta \in \Theta_0$.

Die Alternative $H_1\;$ lautet entsprechend:

$H_1: \theta \in \Theta_1,$

wobei $\Theta_1\;$ das Komplement zu $\Theta_0\;$ in $\Theta\;$ bezeichnet.

Die beobachteten Daten sind Realisierungen von Zufallsvariablen $\;X_1, \ldots , X_n$, die jeweils die (unbekannte) Verteilung $P_\theta\;$ besitzen und stochastisch unabhängig sind.

Der Begriff des Likelihood-Quotienten-Tests suggeriert bereits, dass die Entscheidung des Tests auf der Bildung eines Quotienten beruht. Man geht dabei so vor, dass man ausgehend von den Daten $x = (x_1, \ldots , x_n)\;$ und den zu den einzelnen Parametern gehörenden Dichtefunktionen $f^{X_1, \ldots , X_n}(\cdot; \theta)$ den folgenden Ausdruck berechnet:

$\Lambda(x):=\frac{\sup_{\theta \in \Theta_0} f^{X_1, \ldots, X_n}(x_1, \ldots, x_n; \theta)}{\sup_{\theta \in \Theta} f^{X_1, \ldots, X_n}(x_1, \ldots, x_n; \theta)}.$

Heuristisch gesprochen: Man bestimmt anhand der Daten zunächst den Parameter aus der gegebenen Grundmenge, der die größte Wahrscheinlichkeit dafür liefert, dass die gefundenen Daten gemäß der Verteilung $P_\theta\;$ realisiert worden sind. Der Wert der Dichtefunktion bezüglich dieses Parameters wird dann als repräsentativ für die gesamte Menge gesetzt. Im Zähler betrachtet man als Grundmenge den Raum der Nullhypothese, also $\Theta_0\;$, für den Nenner betrachtet man die gesamte Grundmenge $\Theta\;$.

Es lässt sich intuitiv schließen: Je größer der Quotient ist, desto wahrscheinlicher ist $H_0\;$. Ein Wert von $\;\Lambda(x)$ in der Nähe von Eins bedeutet, dass anhand der Daten kein großer Unterschied zwischen den beiden Parametermengen $\Theta\;$ und $\Theta_0\;$ zu erkennen ist. Die Nullhypothese sollte in solchen Fällen also nicht verworfen werden.

Demnach wird bei einem Likelihood-Quotienten-Test die Hypothese $H_0\;$ zum Niveau $\alpha\;$ abgelehnt, falls

$\Lambda(x)< k^*_{\alpha}$

gilt. Hierbei ist der kritische Wert $k^*_\alpha\;$ so zu wählen, dass $\sup_{\theta\in\Theta_0} P_{\theta}(\Lambda(X) < k^*_{\alpha})=\alpha$ gilt.

Die konkrete Bestimmung dieses kritischen Werts ist in der Regel problematisch.

Beispiel

Für unabhängige Zufallsvariablen $X_1 \ldots X_n\;$, die jeweils eine Normalverteilung mit bekannter Varianz $\sigma^2\;$ und unbekanntem Erwartungswert $\mu\;$ besitzen, ergibt sich für das Testproblem $H_0: \mu = \mu_0\;$ gegen $H_1: \mu = \mu_1\;$ mit $\mu_0 < \mu_1\;$ der folgende Likelihood-Quotient:

$\;\Lambda(X) = \exp(\frac{1}{\sigma^2} \sum_{l=1}^{n} X_l (\mu_1 - \mu_0)) k(\mu_0, \mu_1, \sigma^2)$

mit der von den konkreten Daten unabhängigen Konstanten $k(\mu_0, \mu_1, \sigma^2) = \exp (-\frac{n}{2 \sigma^2} (\mu_1^2 - \mu_0^2))$. Man erhält dann, dass $\;\Lambda(X) > \tilde c$ äquivalent zur Ungleichung

$\frac 1n \sum_{i=1}^{n} X_i > c$

ist. Dies liefert als Resultat den bekannten Gauß-Test; man wählt $c = \mu_0 + \frac{\sigma}{\sqrt n} u_{1-a}$, wobei $u_{1-a}\;$ das $\;(1-\alpha)$-Quantil einer Standardnormalverteilung bezeichnet.

Approximation von $\;\Lambda(X)$ durch eine χ²-Verteilung

Unter bestimmten Voraussetzungen lässt sich die im allgemeinen schwierig zu betrachtende Teststatistik $\;\Lambda(X)$ durch χ²-verteilte Zufallsvariablen annähern, so dass sich vergleichsweise leicht asymptotische Tests herleiten lassen. Neben eher technischen Annahmen an die Verteilungsfamilie $\;P_\theta$ ist die folgende Annahme einer „Parametrisierbarkeit der Nullhypothese“ fundamental:

Es seien der Parameterraum $\;\Theta \subset \mathbb R^d$ und zudem $\;\Delta \subset \mathbb R^c$ gegeben, beide Mengen seien offen und es gelte: $\;c < d$. Zudem existiere eine zweimal stetig differenzierbare Abbildung $\;h: \Delta \rightarrow \Theta$ mit $\;h(\Delta)= \Theta_0$, deren Jacobi-Matrix $\;h'(\eta)$ für jedes $\;\eta \in \Delta$ vollen Rang besitzt.

Dann gilt:

$T_n := -2\log \Lambda(X) \rightarrow \chi^2_{d-c},$

wobei die Zufallsvariablen in Verteilung konvergieren.

Die Beweisidee beruht auf einer Aussage über die Existenz von Maximum-Likelihood-Schätzern in allgemeinen parametrischen Familien und ihrer Konvergenz gegen eine normalvereilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist.

Literatur

P. J. Bickel, K. Doksum: Mathematical statistics. Holden-Day.