- Fisher-Information
-
Die Fisher-Information (benannt nach dem Statistiker Ronald Fisher) ist eine Kenngröße aus der mathematischen Statistik und der Informationstheorie, die für eine Familie von Wahrscheinlichkeitsdichten definiert werden kann und Aussagen über die bestmögliche Qualität von Parameterschätzungen in diesem Modell liefert.
Definition
Falls das zu Grunde liegende Modell aus einer Familie
von Wahrscheinlichkeitsdichten
mit unbekanntem Parameter
besteht, so ist die Fisher-Information für Zufallsvariablen
als
definiert.
Eigenschaften und Anwendungen
Die Fisher-Information ist unter der Regularitätsbedingung
additiv, d. h. für unabhängige Zufallsvariablen
und
gilt
. Diese Eigenschaft ist eine einfache Anwendung der Tatsache, dass sich die Varianzen unabhängiger Zufallsvariablen additiv verhalten.
Ferner gilt für suffiziente Statistiken
, dass die Fisher-Information bezüglich
dieselbe wie für
ist, wobei
gilt.
Benutzt wird die Fisher-Information speziell in der Cramer-Rao-Ungleichung, wo sie bei Gültigkeit der angesprochenen Regularitätsbedingung eine untere Schranke für die Varianz eines Schätzers für
liefert.
Erweiterungen auf höhere Dimensionen
Falls das Modell von mehreren Parametern
mit
abhängt, lässt sich die Fisher-Information als symmetrische Matrix definieren, wobei
gilt. Die Eigenschaften bleiben im Wesentlichen erhalten.
Wikimedia Foundation.