Fisher-Information

Die Fisher-Information (benannt nach dem Statistiker Ronald Fisher) ist eine Kenngröße aus der mathematischen Statistik und der Informationstheorie, die für eine Familie von Wahrscheinlichkeitsdichten definiert werden kann und Aussagen über die bestmögliche Qualität von Parameterschätzungen in diesem Modell liefert.

Definition

Falls das zu Grunde liegende Modell aus einer Familie $\mathcal P$ von Wahrscheinlichkeitsdichten $f_{\vartheta}$ mit unbekanntem Parameter $\vartheta \in \Theta$ besteht, so ist die Fisher-Information für Zufallsvariablen $X_1, \ldots, X_n$ als

$\mathcal{I}(\vartheta) = \mathrm{E} \left[ \left( \frac{\partial}{\partial\vartheta} \log \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell) \right)^2 \right]$

definiert.

Eigenschaften und Anwendungen

Die Fisher-Information ist unter der Regularitätsbedingung

$\mathrm{E} \left[ \frac{\partial}{\partial\vartheta} \log \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell) \right] = 0$

additiv, d. h. für unabhängige Zufallsvariablen $X_{1}\;$ und $X_{2}\;$ gilt $\mathcal{I}_{X_1, X_2}(\vartheta) = \mathcal{I}_{X_1}(\vartheta) + \mathcal{I}_{X_2}(\vartheta)$. Diese Eigenschaft ist eine einfache Anwendung der Tatsache, dass sich die Varianzen unabhängiger Zufallsvariablen additiv verhalten.

Ferner gilt für suffiziente Statistiken $T\;$, dass die Fisher-Information bezüglich $f_{\vartheta}(X)$ dieselbe wie für $g_{\vartheta}(T(X))$ ist, wobei $f_{\vartheta}(x) = h(x) g_{\vartheta}(T(x))$ gilt.

Benutzt wird die Fisher-Information speziell in der Cramer-Rao-Ungleichung, wo sie bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für $\vartheta$ liefert.

Erweiterungen auf höhere Dimensionen

Falls das Modell von mehreren Parametern $\vartheta_{i}$ mit $1 \leq i \leq k$ abhängt, lässt sich die Fisher-Information als symmetrische Matrix definieren, wobei

$\mathcal{I}_{ij}(\vartheta) = \mathrm{E} \left[ \frac{\partial}{\partial\vartheta_{i}} \log \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell) \frac{\partial}{\partial\vartheta_{j}} \log \prod_{\ell=1}^{n} f_{\vartheta}(X_\ell) \right]$

gilt. Die Eigenschaften bleiben im Wesentlichen erhalten.