Cramér-Rao-Ungleichung

aus Wikipedia, der freien Enzyklopädie
Zur Navigation springen Zur Suche springen
Illustration der Cramer-Rao Schranke: es gibt keinen unberührten Schätzer, welcher den (2-dimensionalen) Parameter mit niedrigerer Varianz schätzt als die Cramer-Rao Schranke, welche als Standardabweichungs-Ellipse dargestellt ist

Die Cramér-Rao-Ungleichung, auch Informationsungleichung oder Fréchet-Ungleichung genannt, ist eine zentrale Ungleichung der Schätztheorie, einem Teilgebiet der mathematischen Statistik. Sie liefert in regulären statistischen Modellen eine Abschätzung für die Varianz von Punktschätzern und damit eine Möglichkeit, unterschiedliche Schätzer miteinander zu vergleichen sowie ein Kriterium für die Bestimmung von gleichmäßig besten erwartungstreuen Schätzern.

Die Ungleichung ist nach Harald Cramér und Calyampudi Radhakrishna Rao beziehungsweise nach Maurice René Fréchet benannt.

Rahmenbedingungen

[Bearbeiten | Quelltext bearbeiten]

Gegeben sei ein einparametriges Standardmodell , das heißt, es ist und jedes der besitzt eine Dichtefunktion bezüglich des Maßes .

Des Weiteren seien die Cramér-Rao-Regularitätsbedingungen erfüllt, das heißt, es gilt:

  • ist eine offene Menge.
  • Die Dichtefunktion ist auf ganz echt größer als 0.
  • Die Score-Funktion
existiert und ist endlich.
  • Die Fisher-Information ist echt positiv und endlich.
  • Es gilt die Vertauschungsrelation
.

Ist dann ein Schätzer mit endlicher Varianz und ist

so ist ein erwartungstreuer Schätzer für . Ist nun ein regulärer Schätzer in dem Sinne, als dass die Vertauschungsrelation

,

gültig ist, so gilt die Cramér-Rao-Ungleichung

wobei die Ableitung von ist.

Die Definition der zu schätzenden Funktion über den Erwartungswert von garantiert die Differenzierbarkeit dieser Funktion. Alternativ kann auch als ein erwartungstreuer Schätzer für eine differenzierbare Funktion definiert werden.

Formulierung für verzerrte Schätzer

[Bearbeiten | Quelltext bearbeiten]

Für verzerrte Schätzer mit Verzerrung gilt: wobei kleiner Null sein kann und somit die Varianz im Vergleich zu einem unverzerrten Schätzer verkleinern kann.

Abgeleitete Begriffe

[Bearbeiten | Quelltext bearbeiten]

Cramér-Rao-Schranke

[Bearbeiten | Quelltext bearbeiten]

Ist ein erwartungstreuer Schätzer für die Funktion , so vereinfacht sich die Cramér-Rao-Ungleichung zu

.

Dies nennt man auch die Cramér-Rao-Schranke.

Cramér-Rao-Effizienz und Supereffizenz

[Bearbeiten | Quelltext bearbeiten]

Ein Schätzer, welcher die Cramér-Rao-Ungleichung mit Gleichheit erfüllt, heißt ein Cramér-Rao-effizienter Schätzer. Er ist ein gleichmäßig bester erwartungstreuer Schätzer für die Klasse der regulären Schätzer, also diejenigen, für die die obige Vertauschungsrelation gilt. Einfachstes und bekanntestes Beispiel eines Cramér-Rao-effizienter Schätzers ist das arithmetische Mittel als Schätzer für den Erwartungswert einer Normalverteilung.

Schätzer, die die Cramér-Rao-Ungleichung sogar unterschreiten, werden supereffizient genannt. Diese sind notwendigerweise nicht-regulär oder nicht-erwartungstreu, erfüllen also nicht die Bedingungen der Cramér-Rao-Ungleichung. Der bekannteste Vertreter supereffizienter Schätzer ist der James-Stein-Schätzer.

Regularitätsbedingungen und Beweisidee

[Bearbeiten | Quelltext bearbeiten]

Der Beweis der Cramér-Rao-Ungleichung beruht im Wesentlichen auf der Cauchy-Schwarz-Ungleichung und zwei Modellannahmen, die die Vertauschbarkeit von Differentiation und Integration regeln.

Einerseits soll

gelten und andererseits nehmen wir

an. Direktes Einsetzen in die Cauchy-Schwarz-Ungleichung liefert dann die Behauptung.

Mehrdimensionale Formulierung

[Bearbeiten | Quelltext bearbeiten]

Unter ähnlichen Regularitätsbedingungen ist die Cramér-Rao-Ungleichung auch im Falle mehrdimensionaler Parameter formulierbar. Die Aussage überträgt sich dann auf die Betrachtung der Kovarianzmatrix des mehrdimensionalen Schätzers und liefert eine -Relation im Sinne der Löwner-Halbordnung für Matrizen.

Sei der Vektor der unbekannten Parameter und eine multivariate Zufallsvariable mit zugehöriger Wahrscheinlichkeitsdichte .

Der Schätzer

für den Parametervektor besitzt eine Kovarianzmatrix

.

Die Cramér-Rao-Ungleichung lautet in diesem Fall

wobei die Fisher-Informationsmatrix

ist.

Mit Hilfe der Cramér-Rao-Ungleichung lässt sich die dynamische Permeabilitätszahl von Membranen abschätzen, was vor allem in der Bio- und Nanotechnologie rege Anwendung findet.

Verallgemeinerungen

[Bearbeiten | Quelltext bearbeiten]

Eine mögliche Verallgemeinerung ist die Chapman-Robbins-Ungleichung. Sie erlaubt eine Abschätzung der Varianz eines Schätzers bezüglich eines fest vorgegebenen und wird daher für Abschätzungen im Rahmen der Untersuchung von lokal minimalen Schätzern verwendet. Bei Grenzübergang liefert sie eine punktweise Version der Cramér-Rao-Ungleichung.

Als eine Verallgemeinerung der Cramér-Rao-Ungleichung kann auch die Van-Trees-Ungleichung aus der bayesschen Statistik angesehen werden. Im Unterschied zu dieser lässt sich die Van-Trees-Ungleichung auch auf nicht-erwartungstreue Schätzer anwenden.