Likelihood-Quotienten-Test

Der Likelihood-Quotienten-Test oder Likelihood-Ratio-Test ist ein statistischer Test, der zu den typischen Hypothesentests in parametrischen Modellen gehört. Viele klassische Tests wie der F-Test für den Varianzenquotienten oder der Zwei-Stichproben-t-Test lassen sich als Beispiele für Likelihood-Quotienten-Tests interpretieren.

Definition

Formal betrachtet man das typische parametrische Testproblem: Gegeben ist eine Grundmenge von Wahrscheinlichkeitsverteilungen $\;P_\theta$, abhängig von einem unbekannten Parameter $\;\theta$, der aus einer bekannten Grundmenge $\Theta\;$ stammt. Als Nullhypothese $\;H_0$ soll getestet werden, ob der Parameter zu einer echten Teilmenge $\;\Theta_0$ gehört. Also:

$H_0: \theta \in \Theta_0$.

Die Alternative $H_1\;$ lautet entsprechend:

$H_1: \theta \in \Theta_1,$

wobei $\Theta_1\;$ das Komplement zu $\Theta_0\;$ in $\Theta\;$ bezeichnet.

Die beobachteten Daten sind Realisierungen von Zufallsvariablen $\;X_1, \ldots , X_n$, die jeweils die (unbekannte) Verteilung $P_\theta\;$ besitzen und stochastisch unabhängig sind.

Der Begriff des Likelihood-Quotienten-Tests suggeriert bereits, dass die Entscheidung des Tests auf der Bildung eines Quotienten beruht. Man geht dabei so vor, dass man ausgehend von den Daten $x = (x_1, \ldots , x_n)\;$ und den zu den einzelnen Parametern gehörenden Dichtefunktionen $f^{X_1, \ldots , X_n}(\cdot; \theta)$ den folgenden Ausdruck berechnet:

$\Lambda(x):=\frac{\sup_{\theta \in \Theta_0} f^{X_1, \ldots, X_n}(x_1, \ldots, x_n; \theta)}{\sup_{\theta \in \Theta} f^{X_1, \ldots, X_n}(x_1, \ldots, x_n; \theta)}.$

Heuristisch gesprochen: Man bestimmt anhand der Daten zunächst den Parameter aus der gegebenen Grundmenge, der die größte Wahrscheinlichkeit dafür liefert, dass die gefundenen Daten gemäß der Verteilung $P_\theta\;$ realisiert worden sind. Der Wert der Dichtefunktion bezüglich dieses Parameters wird dann als repräsentativ für die gesamte Menge gesetzt. Im Zähler betrachtet man als Grundmenge den Raum der Nullhypothese, also $\Theta_0\;$, für den Nenner betrachtet man die gesamte Grundmenge $\Theta\;$.

Es lässt sich intuitiv schließen: Je größer der Quotient ist, desto wahrscheinlicher ist $H_0\;$. Ein Wert von $\;\Lambda(x)$ in der Nähe von Eins bedeutet, dass anhand der Daten kein großer Unterschied zwischen den beiden Parametermengen $\Theta\;$ und $\Theta_0\;$ zu erkennen ist. Die Nullhypothese sollte in solchen Fällen also nicht verworfen werden.

Demnach wird bei einem Likelihood-Quotienten-Test die Hypothese $H_0\;$ zum Niveau $\alpha\;$ abgelehnt, falls

$\Lambda(x)< k^*_{\alpha}$

gilt. Hierbei ist der kritische Wert $k^*_\alpha\;$ so zu wählen, dass $\sup_{\theta\in\Theta_0} P_{\theta}(\Lambda(X) < k^*_{\alpha})=\alpha$ gilt.

Die konkrete Bestimmung dieses kritischen Werts ist in der Regel problematisch.

Beispiel 1

Für unabhängige Zufallsvariablen $X_1 \ldots X_n\;$, die jeweils eine Normalverteilung mit bekannter Varianz $\sigma^2\;$ und unbekanntem Erwartungswert $\mu\;$ besitzen, ergibt sich für das Testproblem $H_0: \mu = \mu_0\;$ gegen $H_1: \mu = \mu_1\;$ mit $\mu_0 < \mu_1\;$ der folgende Likelihood-Quotient:

$\;\Lambda(X) = \exp(\frac{1}{\sigma^2} \sum_{l=1}^{n} X_l (\mu_1 - \mu_0)) k(\mu_0, \mu_1, \sigma^2)$

mit der von den konkreten Daten unabhängigen Konstanten $k(\mu_0, \mu_1, \sigma^2) = \exp (-\frac{n}{2 \sigma^2} (\mu_1^2 - \mu_0^2))$. Man erhält dann, dass $\;\Lambda(X) > \tilde c$ äquivalent zur Ungleichung

$\frac 1n \sum_{i=1}^{n} X_i > c$

ist. Dies liefert als Resultat den bekannten Gauß-Test; man wählt $c = \mu_0 + \frac{\sigma}{\sqrt n} u_{1-a}$, wobei $u_{1-a}\;$ das $\;(1-\alpha)$-Quantil einer Standardnormalverteilung bezeichnet.

Approximation von $\;\Lambda(X)$ durch eine χ²-Verteilung

Unter bestimmten Voraussetzungen lässt sich die im allgemeinen schwierig zu betrachtende Teststatistik $\;\Lambda(X)$ durch χ²-verteilte Zufallsvariablen annähern, so dass sich vergleichsweise leicht asymptotische Tests herleiten lassen. In der Regel ist das möglich, wenn die Nullhypothese sich durch eine lineare Parameter-Transformation als ein Spezialfall der Alternativ-Hypothese darstellen lässt, wie im unten genannten Beispiel des Münzwurfes. Präzise formuliert ist neben eher technischen Annahmen an die Verteilungsfamilie $\;P_\theta$ die folgende Annahme einer „Parametrisierbarkeit der Nullhypothese“ fundamental:

Es seien der Parameterraum der Alternative $\;\Theta \subset \mathbb R^d$ und der Nullhypothese $\;\Delta \subset \mathbb R^c$ gegeben, beide Mengen seien offen und es gelte: $\;c < d$. Zudem existiere eine zweimal stetig differenzierbare Abbildung $\;h: \Delta \rightarrow \Theta$ mit $\;h(\Delta)= \Theta_0$, deren Jacobi-Matrix $\;h'(\eta)$ für jedes $\;\eta \in \Delta$ vollen Rang besitzt.

Dann gilt:

$T_n := -2\log \Lambda(X) \rightarrow \chi^2_{d-c},$

wobei die Zufallsvariablen in Verteilung konvergieren.

Die Beweisidee beruht auf einer Aussage über die Existenz von Maximum-Likelihood-Schätzern in allgemeinen parametrischen Familien und ihrer Konvergenz gegen eine normalverteilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist.

Beispiel 2: Münzwurf

Ein Beispiel ist der Vergleich, ob zwei Münzen die gleiche Wahrscheinlichkeit haben Kopf als Ergebnis zu erhalten (Nullhypothese). Wird die erste Münze N mal geworfen mit n Kopfwürfen und die zweite Münze M mal geworfen mit m Kopfwürfen, dann ergibt sich die Kontigenztabelle unter Beobachtungen. Unter Gültigkeit der Nullhypothese (p = q) und der Alternativhypothese ($p\neq q$) ergeben sich die Wahrscheinlichkeiten wie unter Alternativhypothese und Nullhypothese.

	Beobachtungen		Alternativhypothese (H1)		Nullhypothese (H0)
	Münze 1	Münze 2	Münze 1	Münze 2	Münze 1	Münze 2
Kopf	n	m	p	q	r	r
Zahl	N − n	M − m	1 − p	1 − q	1 − r	1 − r

Unter Gültigkeit der Nullhypothese ergibt sich die Likelihoodfunktion als

L_H0(n,m) = rⁿ(1 − r)^{N − n}r^m(1 − r)^{M − m} = r^{n + m}(1 − r)^{N − n + M − m}

und es folgt mit Hilfe der Log-Likelihoodfunktion die Schätzung $\hat{r}=(n+m)/(N+M)$.

Unter Gültigkeit der Alternativhypothese ergibt sich die Likelihoodfunktion als

L_H1(n,m) = pⁿ(1 − p)^{N − n}q^m(1 − q)^{M − m}

und es folgt mit Hilfe der Log-Likelihoodfunktion die Schätzungen $\hat{p}=n/N$ bzw. $\hat{q}=m/M$.

Damit ergibt sich Λ als

$\Lambda(n,m)=\frac{(\frac{n+m}{N+M})^{n+m} (1-\frac{n+m}{N+M})^{N-n+M-m}}{(\frac{n}{N})^n (1-\frac{n}{N})^{N-n} (\frac{m}{M})^m (1-\frac{m}{M})^{M-m}}$

und als Prüfwert

$-2\,\log(\Lambda(m,n))$

der mit einem vorgegebenen kritischen Wert aus der $\chi^2_1$ Verteilung verglichen wird. Da wir in der Alternativhypothese zwei Parameter (p, q) und in der Nullhypothese einen Parameter (r) haben, ergibt sich die Zahl der Freiheitsgrade als 2 − 1 = 1.

Literatur

P. J. Bickel, K. Doksum: Mathematical statistics. Holden-Day.