Kovarianz (Stochastik)

Die Kovarianz ist in der Statistik eine nichtstandardisierte Maßzahl für den (linearen) Zusammenhang zweier Zufallsvariablen mit gemeinsamer Verteilung. Ist die Kovarianz eine positive Zahl, dann gehen kleine Werte der einen Variable überwiegend einher mit kleinen Werten der anderen Variable und gleichfalls für große Werte. Für eine negative Kovarianz ist das genau umgekehrt.

Definition

Sind X und Y zwei reelle, integrierbare Zufallsvariablen, deren Produkt ebenfalls integrierbar ist, d. h. die Erwartungswerte $\operatorname{E}(X)$, $\operatorname {E}(Y)$ und $\operatorname E(XY)$ existieren, dann heißt

$\operatorname{Cov}(X, Y) := \operatorname E\bigl((X - \operatorname E(X))(Y - \operatorname E(Y))\bigr)$

die Kovarianz von X und Y. Die geforderte Existenz der Erwartungswerte ist insbesondere erfüllt, wenn X und Y quadratintegrierbar sind, also wenn $E(|X|^2) < \infty$ und $E(|Y|^2) < \infty$ gilt.

Eigenschaften

Interpretation der Kovarianz

• Die Kovarianz ist positiv, wenn X und Y tendenziell einen gleichsinnigen linearen Zusammenhang besitzen, d. h. hohe Werte von X gehen mit hohen Werten von Y einher und niedrige mit niedrigen.
• Die Kovarianz ist hingegen negativ, wenn X und Y einen gegensinnigen linearen Zusammenhang aufweisen, d. h. hohe Werte der einen Zufallsvariablen gehen mit niedrigen Werten der anderen Zufallsvariablen einher.
• Ist das Ergebnis 0, so besteht kein linearer Zusammenhang zwischen den beiden Variablen X und Y (nichtlineare Beziehungen sind möglich).

Die Kovarianz gibt zwar die Richtung einer Beziehung zwischen zwei Variablen an, über die Stärke des Zusammenhangs wird aber keine Aussage getroffen. Dies liegt an der Linearität der Kovarianz.

Um einen Zusammenhang vergleichbar zu machen, muss die Kovarianz normiert werden. Die gebräuchlichste Normierung mittels der Standardabweichung führt zum Korrelationskoeffizienten.

Beziehung zur Varianz

Die Kovarianz ist eine Verallgemeinerung der Varianz, denn es gilt

$\operatorname{Var}(X)=\operatorname{Cov}(X,X)$.

Das heißt, die Varianz ist die Kovarianz einer Variable mit sich selbst.

Mit Hilfe der Kovarianzen lässt sich auch die Varianz einer Summe von quadratintegrierbaren Zufallsvariablen berechnen. Allgemein gilt

$\begin{align}\operatorname{Var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{Var}(X_i) + \sum_{i,j=1, i\neq j}^n\operatorname{Cov}(X_i,X_j)\\ &= \sum_{i=1}^n \operatorname{Var}(X_i) + 2\sum_{i=1}^{n-1}\sum_{j=i+1}^n\operatorname{Cov}(X_i,X_j).\end{align}$

Speziell für die Summe zweier Zufallsvariablen hat man also die Formel

$\operatorname{Var}(X+Y) = \operatorname{Var}(X) + \operatorname{Var}(Y) + 2 \operatorname{Cov}(X,Y).$

Verschiebungssatz

Der Verschiebungssatz liefert eine alternative Darstellung der Kovarianz

$\operatorname{Cov}(X, Y) = \operatorname{E}(X\cdot Y) - \operatorname{E}(X)\operatorname{E}(Y)$.

Diese Formeln ermöglichen in vielen Fällen eine einfachere Berechnung der Kovarianz. Bei numerischer Rechnung muss dabei allerdings auf unerwünschte Stellenauslöschung bei der Subtraktion großer Zahlen geachtet werden.

Symmetrie und Linearität

Die Kovarianz ist eine symmetrische Bilinearform auf dem Vektorraum der quadratisch integrierbaren Zufallsvariablen, d. h. es gilt:

$\begin{align} \operatorname{Cov}(X, Y) &= \operatorname{Cov}(Y,X)\\ \operatorname{Cov}(aX+b,Y) &= a\operatorname{Cov}(X,Y)\\ \operatorname{Cov}(X+Y,Z)&= \operatorname{Cov}(X,Z)+\operatorname{Cov}(Y,Z) \end{align}$

Wegen der Symmetrie ist die Kovarianz auch im zweiten Argument linear. Die Ungleichung $\operatorname{Cov}(X,X) = \operatorname{Var}(X) \geq 0$ zeigt, dass die Kovarianz auch positiv semidefinit ist. Insgesamt folgt hieraus, wie für jede positiv semidefinite symmetrische Bilinearform, die Cauchy-Schwarzsche Ungleichung

$|\operatorname{Cov}(X,Y)| \leq \sqrt{\operatorname{Var}(X)}\cdot\sqrt{\operatorname{Var}(Y)}.$

Die Linearität der Kovarianz hat zur Folge, dass die Kovarianz vom Maßstab der Zufallsvariablen abhängt. So erhält man beispielsweise die zehnfache Kovarianz, wenn man anstatt X die Zufallsvariable 10X betrachtet. Insbesondere hängt der Wert der Konverianz von den verwendeten Maßeinheiten der Variablen ab. Da diese Eigenschaft die absoluten Werte der Kovarianz schwer interpretierbar macht, betrachtet man häufig stattdessen den maßstabsunabhängigen Korrelationskoeffizienten

$\varrho(X,Y) = \frac{\operatorname{Cov}(X,Y)}{\sqrt{\operatorname{Var}(X)} \cdot \sqrt{\operatorname{Var}(Y)}}\ .$

Unkorreliertheit

Falls $\operatorname{Cov}(X, Y) = 0$, so heißen die Zufallsvariablen X und Y unkorreliert.

Ist c eine konstante Zufallsvariable, dann ist $\operatorname{Cov}(X,c)=0$.

Wenn die Zufallsvariablen $X_1, \dots, X_n$ paarweise unkorreliert und quadratisch integrierbar sind (d. h. $\operatorname{Cov}(X_i,X_j)=0$ für $i\neq j$), dann gilt für die Varianz der Summe der Zufallsvariablen

$\operatorname{Var}\left(\sum_{i=1}^nX_i\right)=\sum_{i=1}^n\operatorname{Var}(X_i)$.

Stochastisch unabhängige Zufallsvariablen, deren Kovarianz existiert, sind stets unkorreliert, denn für unabhängige Zufallsvariablen X und Y gilt $\operatorname{E}(XY) = \operatorname{E}(X) \operatorname{E}(Y)$, also nach dem Verschiebungssatz $\operatorname{Cov}(X,Y) = 0$. Umgekehrt bedeutet Unkorreliertheit aber nicht zwingend, dass die Zufallsvariablen stochastisch unabhängig sind, denn es können nichtlineare Abhängigkeitsstrukturen vorliegen, die die Kovarianz nicht erfassen kann.

Beispiele

• Sei X zweidimensional multinormalverteilt (X = (X₁,X₂) und $P_{(X_1,X_2)} = N(\mu,\Sigma)$ mit $\Sigma = \begin{pmatrix} \sigma_{1,1} & \sigma_{1,2} \\ \sigma_{1,2} & \sigma_{2,2} \end{pmatrix}$), so gilt für die Kovarianz:

$\operatorname{Cov}(X_1,X_2) = \sigma_{1,2}$

• Sei X = (X₁,X₂) zweidimensional multinomialverteilt (P_X = M(n,(p₁,p₂))), so gilt:

$\operatorname{Cov}(X_1,X_2) = E(X_1X_2) -E(X_1)E(X_2) = n(n-1)p_1p_2-np_1np_2 = -np_1p_2.$

• Das folgende Rechenbeispiel zeigt, dass aus der Unkorreliertheit nicht die Unabhängigkeit folgt:

Seien X und Y Zufallsvariablen mit $P(X=0, Y=1) = \tfrac{1}{2}$ und $P(X=2,Y=0) = P(X=2,Y=2) = \tfrac{1}{4}.$

Dann gilt $P(X=0)=P(X=2)=\tfrac{1}{2}$ und $P(Y=0)=P(Y=2)=\tfrac{1}{4}$, $P(Y=1)=\tfrac{1}{2}$.

Es folgt $\operatorname{E}(X) = \operatorname{E}(Y) = 1$ und ebenfalls $\operatorname{E}(XY) = 1$, also $\operatorname{Cov}(X,Y)=0$.

Andererseits sind X und Y wegen $P(X=0,Y=1) = \tfrac{1}{2} \neq \tfrac{1}{2} \cdot \tfrac{1}{2} = P(X=0) P(Y=1)$ nicht stochastisch unabhängig.

• Ein weiteres Beispiel für unkorrelierte, aber stochastisch abhängige Zufallsvariablen:

Seien X,Y bernoulliverteilt mit Parameter p und unabhängig, dann sind X + Y und X − Y unkorreliert, aber nicht unabhängig.

Die Unkorreliertheit ist klar, denn Cov(X + Y,X − Y) = Cov(X,X) − Cov(X,Y) + Cov(Y,X) − Cov(Y,Y) = 0.

Aber X + Y und X − Y sind nicht unabhängig, denn es ist $P(X+Y=0, X-Y=1) = 0 \neq p(1-p)^3 = P(X+Y=0)P(X-Y=1)$.

Siehe auch

• Kovarianzmatrix, Zusammenhangsmaß, Varianz, Korrelationskoeffizient