Cramér-Rao-Ungleichung

Die Cramér-Rao-Ungleichung, benannt nach den beiden Mathematikern Harald Cramér und Calyampudi Radhakrishna Rao. Sie liefert in der mathematischen Statistik zu jedem zu schätzenden Parameter eine untere Schranke für die Varianz eines Schätzers bzgl. dieses Parameters.

Definition

Sei $\vartheta\in\Theta$ Parameter, $X\;$ Zufallsvariable mit unbekannter Dichte $f_{\vartheta}$ und $T(X)\;$ Schätzer. Sei $I(\vartheta)$ die Fisher-Information. Dann gilt die Cramér-Rao-Ungleichung

$\mathrm{Var}_{\vartheta}(T(X)) \geq \frac{(\frac{\partial}{\partial \vartheta} \mathrm{E}_{\vartheta}[T(X)])^2}{I(\vartheta)}$,

sofern die folgenden Regularitätsbedingungen erfüllt sind:

• Der Träger der Wahrscheinlichkeitsdichten $((f_{\vartheta})_{\vartheta\in\Theta})$ hängt nicht vom unbekannten Parameter $\vartheta$ ab.
• Die Wahrscheinlichkeitsdichten sind stetig nach $\vartheta$ differenzierbar.
• $\mathrm{E}_{\vartheta} \left[T(X)^2 \right]<\infty$
• $\mathrm\frac{\partial}{\partial\vartheta}{E}_{\vartheta}\left[T(X) \right]=\frac{\partial}{\partial\vartheta}\int (T \cdot f_{\vartheta})(x) \;\mu \,(dx) =\int \frac{\partial}{\partial\vartheta}(T \cdot f_{\vartheta})(x) \;\mu \,(dx)$

Effizienz und Optimalität

Wenn für einen Schätzer $T(X)\;$ die Identität

$\mathrm{Var}_{\vartheta}(T(X)) = \frac{(\frac{\partial}{\partial \vartheta} E_{\vartheta}[T(X)])^2}{I(\vartheta)}$

gilt, so heißt er effizient. Wenn er zudem erwartungstreu ist, so ist er bezüglich der mittleren quadratischen Abweichung optimal. Für einen erwartungstreuen Schätzer vereinfacht sich die untere Schranke zur inversen Fisher-Information.

Regularitätsbedingungen und Beweisidee

Der Beweis der Cramér-Rao-Ungleichung beruht im Wesentlichen auf der Cauchy-Schwarz-Ungleichung und zwei Modellannahmen, die die Vertauschbarkeit von Differentiation und Integration regeln.

Einerseits soll

$\mathrm{E}_{\vartheta} \left[ \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X_i) \right] = 0$

gelten und andererseits nehmen wir

$\mathrm{E}_{\vartheta} \left[ T(X) \frac{\partial}{\partial\vartheta} \log f_{\vartheta}(X_i) \right] = \frac{\partial}{\partial\vartheta} \mathrm{E}_{\vartheta} \left[ T(X) \right]$

an. Direktes Einsetzen in die Cauchy-Schwarz-Ungleichung liefert dann die Behauptung.

Mehrdimensionale Formulierung

Unter ähnlichen Regularitätsbedingungen ist die Cramér-Rao-Ungleichung auch im Falle mehrdimensionaler Parameter formulierbar. Die Aussage überträgt sich dann auf die Betrachtung der Kovarianzmatrix des mehrdimensionalen Schätzers und liefert eine $\leq$-Relation im Sinne der Löwner-Ordnung für Matrizen.

Sei $\underline{\vartheta} := \left[\vartheta_1, \vartheta_2, ... , \vartheta_n\right]^T$ der Vektor der unbekannten Parameter und $\mathbf{X}$ eine multivariate Zufallsvariable mit zugehöriger Wahrscheinlichkeitsdichte $f(\mathbf{X}; \underline{\vartheta})$.

Der Schätzer

$\underline{T}(\mathbf{X}) := \left[T_1(\mathbf{X}), T_2(\mathbf{X}), ... , T_n(\mathbf{X}) \right]^T$

für den Parametervektor $\underline{\vartheta}$ besitzt eine Kovarianzmatrix

$\mathrm{Cov}[\underline{T}(\mathbf{X})] = \mathrm{E}[(\underline{T}(\mathbf{X}) - \underline{\vartheta}) (\underline{T}(\mathbf{X}) - \underline{\vartheta})^T]$.

Die Cramér-Rao-Ungleichung lautet in diesem Fall

$\mathrm{Cov}[\underline{T}(\mathbf{X})] \geq \mathcal{I}^{-1}(\underline{\vartheta})$

wobei $\mathcal{I}$ die Fisher-Information-Matrix

$\mathcal{I}_{ij}(\underline{\vartheta}) = \mathrm{E} \left[ \frac{\partial}{\partial\vartheta_{i}} \log \prod_{\ell=1}^{n} f(X_\ell; \underline{\vartheta}) \frac{\partial}{\partial\vartheta_{j}} \log \prod_{\ell=1}^{n} f(X_\ell; \underline{\vartheta}) \right]$

ist.

Außermathematische Anwendung

Mit Hilfe der Cramér-Rao-Ungleichung lässt sich die dynamische Permeabilitätszahl von Membranen abschätzen, was vor allem in der Biotechnologie rege Anwendung findet.