Varianzschätzung

Mit Varianzschätzung werden in der Statistik zwei verwandte Begrifflichkeiten bezeichnet:

• die Schätzung einer unbekannten Varianz einer Grundgesamtheit und
• die Schätzung der Varianz einer Schätzfunktion eines unbekannten Parameter der Grundgesamtheit.

Im letzteren Fall ist sie eine Methode zur Messung der Genauigkeit von Schätzverfahren und erlaubt die Konstruktion von Konfidenzintervallen (Intervallschätzung). Oft fließt in die Berechnung von Intervallschätzungen auch die unbekannte Varianz der Grundgesamtheit ein. Diese wird mit einem Verfahren für den ersten Fall geschätzt.

Schätzung der Varianz der Grundgesamtheit

Zur Schätzung der Varianz der Grundgesamtheit mit Hilfe der Stichprobenvarianz gibt es verschiedene Schätzfunktionen, siehe auch

→ Hauptartikel: Stichprobenvarianz

Meist wird die korrigierte Stichprobenvarianz benutzt, die auf der Maximum-Likelihood-Schätzung der Varianz einer normal-verteilten Grundgesamtheit basiert.

Varianzschätzung einer normal-verteilten Grundgesamtheit

Die Stichprobenvariablen sind, wie Grundgesamtheit, normal verteilt X_i∼N(μ,σ²) mit μ der unbekannte Mittelwert und σ² die unbekannte Varianz der Grundgesamtheit. Dann ist die Likelihoodfunktion einer Stichprobe mit Umfang n

$L(x_1,\ldots,x_n|\mu,\sigma)=\prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x_i-\mu)^2}{2\sigma^2}\right)= \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2 \right)$

und die Log-Likelihoodfunktion

$\log(L(x_1,\ldots,x_n|\mu,\sigma))=-\frac{n}{2}\log(2\pi\sigma^2)-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$.

Um einen Schätzer $\hat{\sigma}^2$für σ² finden, wird die Log-Likelihoodfunktion nach σ² abgeleitet

$\frac{\partial\log(L(x_1,\ldots,x_n|\mu,\sigma))}{\partial \sigma^2}=-\frac{n}{2\sigma^2}+\frac{1}{2\sigma^4}\sum_{i=1}^n (x_i-\mu)^2$

und gleich Null gesetzt um ein Maximum zu finden

$0=-\frac{n}{2\hat{\sigma}^2}+\frac{1}{2\hat{\sigma}^4}\sum_{i=1}^n (x_i-\mu)^2\quad\Longrightarrow\quad\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\mu)^2$.

Die zweite Ableitung ergibt sich als

$\frac{\partial^2\log(L(x_1,\ldots,x_n|\mu,\sigma))}{\partial \sigma^2\partial \sigma^2}=\frac{1}{\sigma^4}\left(\frac{n}{2}-\frac{\sum_{i=1}^n (x_i-\mu)^2}{\sigma^2}\right)$

und an der Stelle $\sigma^2=\hat{\sigma}^2$:

$\frac{1}{\hat{\sigma}^4}\left(\frac{n}{2}-\frac{\sum_{i=1}^n (x_i-\mu)^2}{\hat{\sigma}^2}\right)=\frac{1}{\hat{\sigma}^4}\left(\frac{n}{2}-\frac{n\hat{\sigma}^2}{\hat{\sigma}^2}\right)=-\frac{n}{2\hat{\sigma}^4}< 0$,

d.h. es handelt sich um ein Maximum, wenn $\hat{\sigma}^2>0$.

Schätzung der Varianz einer Schätzfunktion

Hat man eine Schätzfunktion $\hat{\theta}$ für einen unbekannten Parameter θ der Grundgesamtheit, so hat man zunächst nur eine Punktschätzung $\hat{\vartheta}$ für diesen. Man ist jedoch interessiert auch Konfidenzintervalle für den geschätzten Parameter anzugeben, d.h. man muss die Verteilung und die Varianz von $\hat{\theta}$ kennen.

Dies ist jedoch nicht immer möglich und deswegen gibt es verschiedene Verfahren:

• direkte Verfahren auf Basis der Likelihoodfunktion,
• lineare Approximation der log-Likelihoodfunktion und
• Resampling-Methoden.

Wurde die Schätzfunktion $\hat{\theta}$ mit Hilfe der Maximum-Likelihood-Methode berechnet, so weiß man über das asymptotische Verhalten:

• $\lim_{n\to\infty} \hat{\theta} \longrightarrow N(\theta; \Sigma_{\hat{\theta}})$ sowie
• $\lim_{n\to\infty} Var(\hat{\theta}) \longrightarrow \mathcal I^{-1}(\theta) = \Sigma_{\hat{\theta}}$

mit $\Sigma_{\hat{\theta}}$ die Kovarianzmatrix der Schätzfunktion(en) $\hat{\theta}$ und I(θ) die Fisher-Informationsmatrix.

Bekannte Verteilung von $\hat{\theta}$

Lässt sich die Verteilung und die Varianz von $\hat{\theta}$ berechnen, z.B. mit Hilfe des zentralen Grenzwertsatzes, so lässt sich die Varianz leicht schätzen.

Ein Beispiel ist der Stichprobenmittelwert einer normalverteilten Grundgesamtheit bzw. bei Gültigkeit des zentralen Grenzwertsatzes bei einer beliebigen Verteilung in der Grundgesamtheit:

$\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i \approx N\left(\mu; \frac{\sigma^2}{n}\right)$.

Daraus lässt sich das Konfidenzintervall ableiten

$P\left(\bar{X}-z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}}\leq \mu \leq \bar{X}+z_{1-\alpha/2}\frac{\sigma}{\sqrt{n}}\right)\approx 1-\alpha$

mit z_{1 − α / 2} aus der Standardnormalverteilung.

Direkte Verfahren

Bei direkten Verfahren nutzt man die Darstellung

$Var(\hat{\theta}) = \int (\hat{\theta}-\theta)^2 L(x_1, \ldots, x_n|\theta) dx_1 \ldots dx_n$ bzw. multivariat $\sigma_{ij}(\hat{\theta}) = \int (\hat{\theta}_i-\theta_i) (\hat{\theta}_j-\theta_j) L(x_1, \ldots, x_n|\theta) dx_1 \ldots dx_n$

Darauf basierende Varianzschätzungen kann man meist nur bei einfachen Punktschätzern angeben. Hier werden Approximationsformeln nur bei Stichprobendesigns mit Inklusionswahrscheinlichkeiten zweiter Ordnung benötigt. Exakte Methoden, das heißt einfach auszurechnende Formeln können im Fall eines Linearen Schätzers angegeben werden.

Jedoch sind weder der wahre Parameter θ noch die Funktion $L(x_1, \ldots, x_n|\theta)$ bekannt. Daher werden die Schätzwerte und die normierte Likelihoodfunktion als Wahrscheinlihkeitsdichte für θ genutzt:

$\widehat{Var}(\hat{\theta}) = \frac{\int (\theta-\hat{\vartheta})^2 L(x_1, \ldots, x_n|\theta) d\theta}{\int L(x_1, \ldots, x_n|\theta) d\theta}$ bzw. multivariat $\hat{\sigma}_{ij}(\hat{\theta}) = \frac{\int (\theta_i-\hat{\vartheta}_i) (\theta_j-\hat{\vartheta}_j) L(x_1, \ldots, x_n|\theta) d\theta_1 \ldots d\theta_m}{\int L(x_1, \ldots, x_n|\theta) d\theta_1 \ldots d\theta_m}$

Die Schätzung erfolgt dann mit Hilfe numerischer Integration.

Lineare Approximation

Bei nicht-linearen Schätzern (z.B. einem Ratio-Schätzer) kommen approximative Methoden zum Einsatz. Kann man die Log-Likelihood-Funktion mit der Taylorapproximation um das Maximum entwickeln

$\log(L(x_1,\ldots,x_n|\theta)) \approx \log(\underbrace{L(x_1,\ldots,x_n|\hat{\vartheta})}_{=L_{max}}) + \underbrace{\left(\theta-\hat{\vartheta}\right) \left.\frac{\partial \log(L)}{\partial\theta}\right|_{\theta=\hat{\vartheta}}}_{=0} + \tfrac12 \left(\theta-\hat{\vartheta}\right)^2 \left.\frac{\partial^2 \log(L)}{\partial\theta^2}\right|_{\theta=\hat{\vartheta}}$

und unter Ausnutzung der Definition der Fisher-Informationsmatrix

$\log(L(x_1,\ldots,x_n|\theta)) \approx\log(L_{max}) - \tfrac12 \left(\theta-\hat{\vartheta}\right)^2 \sigma_{\hat{\theta}}^{-1}$

folgt

$\hat{\sigma}_{\hat{\theta}} = \left(-\left.\frac{\partial^2 \log(L)}{\partial\theta^2}\right|_{\theta=\hat{\vartheta}}\right)^{-1}$.

Alternativ können durch die Woodruff-Linearisierung nicht-lineare Schätzer zu linearen umgewandelt werden.

Resampling-Methoden

Eine weitere Möglichkeit stellen Resamplingmethoden dar. Hierbei werden B Substichproben zufällig aus der vorhandenen Stichprobe gezogen und mit diesen ein Schätzwert $\hat{\vartheta}^{(i)}$ berechnet. Diese Schätzwerte sind eine empirische Approximation an die unbekannte Verteilung von $\hat{\theta}$.

Stichprobe:	$x_1, \ldots x_n$	$\longrightarrow \hat{\vartheta}$
Substichprobe 1:	$x_1^{(1)}, \ldots x_n^{(1)}$	$\longrightarrow \hat{\vartheta}^{(1)}$
$\vdots$	$\vdots$	$\vdots$
Substichprobe B:	$x_1^{(B)}, \ldots x_n^{(B)}$	$\longrightarrow \hat{\vartheta}^{(B)}$

Daher ergibt sich

$\widehat{Var}(\hat{\theta}) = \frac{1}{B-1} \sum_{i=1}^B \left(\hat{\vartheta}^{(i)} - \bar{\vartheta}\right)^2$

mit $\bar{\vartheta} = \frac1B \sum_{i=1}^B \hat{\vartheta}^{(i)}$. Bei der Schätzung kann das Stichprobendesign durch Gewichtung berücksichtigt werden.