Formelsammlung Stochastik

Dies ist eine Formelsammlung zu dem mathematischen Teilgebiet Stochastik einschließlich Wahrscheinlichkeitsrechnung, Kombinatorik, Zufallsvariablen und Verteilungen sowie Statistik.

Wahrscheinlichkeitsrechnung

Grundlagen

Axiome: Jedem Ereignis $A \subset \Omega$ aus dem Ereignisraum wird eine Wahrscheinlichkeit P(A) zugeordnet, so dass gilt:

$0\le P(A)\le 1$,

$P(\Omega)=1\,$,

für paarweise disjunkte Ereignisse $A_1, A_2, \dots$ gilt $P(A_1\cup A_2 \cup \dots)=P(A_1)+P(A_2)+\dots$

Rechenregeln: Aus den Axiomen ergibt sich:

$P(\emptyset) = 0$

Für $A \subset B$ gilt $P(B \setminus A) = P(B) - P(A)$, insbesondere $P(A) \le P(B)$

Für das Gegenereignis $\overline{A} = \Omega\setminus A$ gilt $P(\overline{A}) = 1 - P(A)$

$P(A \cup B) = P(A) + P(B) - P(A \cap B)$

Laplace-Experimente

$P(A)=\frac{|A|}{|\Omega|} ={\rm \frac{Anzahl\;der\;g\ddot unstigen\;Ergebnisse}{Anzahl\;der\;m\ddot oglichen\;Ergebnisse}}$

Bedingte Wahrscheinlichkeit

$P_{B}(A) = P(A \vert B) =\frac{P(A \cap B)}{P(B)}$

Satz von Bayes:

$P_{B}(A)=\frac{P(A)\cdot P_{A}(B)}{P(A)\cdot P_{A}(B)+P(\overline{A})\cdot P_{\overline{A}}(B)}$

Unabhängigkeit:

Zwei Ereignisse A,B sind unabhängig $\Leftrightarrow P(A \cap B) = P(A) \cdot P(B)$

Kombinatorik

Fakultät: Anzahl der Möglichkeiten beim Ziehen aller n Kugeln aus einer Urne (ohne Zurücklegen):

$n! = n\cdot(n-1)\cdot(n-2)\cdot \dots \cdot 3 \cdot 2 \cdot 1=n\cdot(n-1)!$

wobei 0! = 1! = 1

	ohne Wiederholung (von n Elementen)   ${\color{red}(a,b,c)}$	mit Wiederholung (von r + s + ... + t = n Elementen, von denen jeweils r, s ... t nicht unterscheidbar sind) ${\color{red}(a,a,b)}$
Permutation ${\color{red}(a,b) \ne (b,a)}$	$~n!~$	$\frac{(r + s + \ldots + t)!}{r! \cdot s! \cdot \ldots \cdot t!} = \frac{n!}{r! \cdot s! \cdot \ldots \cdot t!}$

Binomialkoeffizient "n über k"

${n \choose k} = {n! \over k!(n-k)!}$

Anzahl der Möglichkeiten beim Ziehen von k Kugeln aus einer Urne mit n Kugeln:

	ohne Wiederholung (siehe Hypergeometrische Verteilung) ${\color{red}(a,b,c)}$ ${\color{red}\{a,b,c\}}$	mit Wiederholung (siehe Binomialverteilung) ${\color{red}(a,a,b)}$ ${\color{red}\{a,a,b\}}$
Variation ${\color{red}(a,b) \ne (b,a)}$	${n \choose k}{\cdot k!} = \frac{n!}{ \left( n-k \right) !}$	$~n^k~$
Kombination ${\color{red}\{a,b\} = \{b,a\}}$	${n \choose k} = \frac{n!}{{\left( n-k \right) !} \cdot k!}$	$\left(\!\!{n \choose k}\!\!\right) = {n + k -1 \choose k} = \frac{ \left( n + k -1 \right)! }{{\left( n-1 \right)! \cdot k!} }$

Zufallsvariablen

Diskrete Zufallsgrößen

Eine Funktion f heißt Wahrscheinlichkeitsfunktion einer diskreten Zufallsgröße X, wenn folgende Eigenschaften erfüllt sind:

1. Für alle $x \in \mathbb{Z}$ gilt $f(x) \ge 0$
2. $P(a \le X \le b) = \sum_{a\le x\le b} f(x)$
3. $\sum_{-\infty< x < +\infty} f(x)= 1$

Eine Zufallsgröße und deren Verteilung heißen diskret, falls es eine geeignete Wahrscheinlichkeitsfunktion mit den Eigenschaften (1) bis (3) gibt.

$P(X=a) \ge 0\,$ für alle $a\in \mathbb{Z}$

$P(a \le X \le b)=P(X=a)+P(a < X < b)+P(X=b)$

$E(X) = \mu = \sum_{-\infty < x < +\infty} x \cdot f(x)$

$E(g(X)) = \sum_{-\infty < x < +\infty} g(x) \cdot f(x)$

$V(X) = \sigma ^2 = \sum_{-\infty < x < +\infty} (x- \mu )^2 \cdot f(x)$

Stetige Zufallsgrößen

Dichtefunktion einer stetigen Zufallsgröße: Eine Funktion f heißt Dichtefunktion einer stetigen Zufallsgröße X, wenn folgende Eigenschaften erfüllt sind:

1. Für alle $x \in \mathbb{R}$ gilt $f(x) \ge 0$
2. $P(a \le X \le b) = \int\limits_{a}^{b} f(x) \mathrm dx$
3. $\int\limits_{-\infty}^{+\infty} f(x)\mathrm dx = 1$

Eine Zufallsgröße und deren Verteilung heißen stetig, falls es eine geeignete Dichtefunktion mit den Eigenschaften (1) bis (3) gibt.

Für die Wahrscheinlichkeit gilt

$P(X=a) = 0\,$ für alle $a\in \mathbb{R}$

$P(a \le X \le b)=P(a < X \le b)=P(a \le X < b)=P(a < X < b)$

Erwartungswert und Varianz sind gegeben durch

$E(X) = \mu = \int\limits_{-\infty}^{+\infty} x \cdot f(x) \mathrm dx$

$E(g(X)) = \int\limits_{-\infty}^{+\infty} g(x) \cdot f(x) \mathrm dx$

$V(X) = \sigma ^2 = \int\limits_{-\infty}^{+\infty} (x- \mu )^2 \cdot f(x) \mathrm dx$

Erwartungswert, Varianz, Kovarianz, Korrelation

Für den Erwartungswert E(X), die Varianz V(X), die Kovarianz $\operatorname{Cov}(X,Y)$ und die Korrelation $\varrho(X,Y)$ gelten:

E(aX + b) = aE(X) + b

E(X + Y) = E(X) + E(Y), allgemein $E(\sum_{i=1}^n X_i) = \sum_{i=1}^n E(X_i)$

Für unabhängige Zufallsvariablen X_i gilt: $E(\prod_{i=1}^n X_i) = \prod_{i=1}^n E(X_i)$

V(X) = E((X − E(X))²) = E(X²) − E(X)²

V(aX + b) = a²V(X)

Für unabhängige Zufallsvariablen X_i gilt: $V(\sum_{i=1}^n X_i) = \sum_{i=1}^n V(X_i)$

$\operatorname{Cov}(X,Y) = E((X-E(X))(Y-E(Y))) = E(XY) - E(X)E(Y)$

$\operatorname{Cov}(X,Y)=\operatorname{Cov}(Y,X)$

$\operatorname{Cov}(aX+b,Y) = a\operatorname{Cov}(X,Y)$

$\operatorname{Cov}(X_1+X_2,Y) = \operatorname{Cov}(X_1,Y) + \operatorname{Cov}(X_2,Y)$

$V(X+Y) = V(X) + V(Y) + 2\operatorname{Cov}(X,Y)$

$\varrho(X,Y) = \frac{\operatorname{Cov}(X,Y)}{\sqrt{V(X)}\sqrt{V(Y)}}$

Tschebyschow-Ungleichung:

$P(|X-E(X)|\ge\alpha)\le\frac{V(x)}{\alpha^2}$

Spezielle Verteilungen

Binomialverteilung

Gegeben ist n-stufiger Bernoulli-Versuch (d.h. n mal dasselbe Experiment mit nur zwei möglichen Ausgängen und konstanten Wahrscheinlichkeiten) mit der Erfolgswahrscheinlichkeit p und der Misserfolgswahrscheinlichkeit q = 1 − p. Die Wahrscheinlichkeitsverteilung der Zufallsgröße X: Anzahl der Erfolge heißt Binomialverteilung.

Die Wahrscheinlichkeit für k Erfolge berechnet sich nach der Formel:

$P(X=k) = \binom nk \cdot p^k \cdot q^{n-k}$

Erwartungswert:

$\mu=E(X)=n \cdot p$

Varianz:

$\sigma^2 = V(X) = n \cdot p \cdot q$

Standardabweichung:

$\sigma = \sigma(X)= \sqrt{V(X)} = \sqrt{n \cdot p \cdot q}$

σ-Regeln

(Wahrscheinlichkeiten von Umgebungen des Erwartungswertes bei Binomialverteilungen) Zwischen dem Radius einer Umgebung um den Erwartungswert und der zugehörigen Wahrscheinlichkeit der Umgebung gelten folgende Zuordnungen (falls σ > 3):

Radius der Umgebung	Wahrscheinlichkeit der Umgebung
1σ	0,68
2σ	0,955
3σ	0,997

Wahrscheinlichkeit der Umgebung	Radius der Umgebung
0,90	1,64σ
0,95	1,96σ
0,99	2,58σ

Standardisieren einer Verteilung

1. Verschiebe das Histogramm so, dass der Erwartungswert μ an der Stelle z = 0 des (neuen) Koordinatensystems liegt.
2. Wähle die Breite der Rechtecke gleich $\tfrac{1}{\sigma}$, sodass auf der 1. Achse die Einheiten -3, -2, -1, 0, 1, 2, 3 anstelle der Abschnitte μ-3σ, μ-2σ, μ-1σ, μ, μ+1σ, μ+2σ,μ +3σ treten.
3. Das Stauchen der Rechtecke in Richtung der 1. Achse wird dadurch ausgeglichen, dass auf der 2. Achse nicht mehr die Wahrscheinlichkeiten P(X = k) abgetragen werden, sondern die mit der Standardabweichung σ vervielfachten Wahrscheinlichkeiten.

Poisson-Näherung

Gegeben sei eine Binomialverteilung mit großem Stichprobenumfang n ≥ 100 und kleiner Erfolgswahrscheinlichkeit p≤0,1. Mithilfe von $\mu=n\cdot p$ kann man dann näherungsweise die Wahrscheinlichkeit für k Erfolge berechnen:

$P(X=0) \approx e^{- \mu}$

$P(X=k) \approx \frac{\mu}{k} \cdot P(X=k-1)$

Die Beziehungen lassen sich zusammenfassen zu:

$P(X=k) \approx \frac{\mu ^k}{k!} \cdot e^{- \mu}$

Poisson-Verteilung

Gilt für die Verteilung einer Zufallsgröße X

$P(X=k) = \frac{\mu ^k}{k!} \cdot e^{- \mu}$

Näherungsformeln von Moivre und Laplace

Sei X eine binomialverteilte Zufallsgröße mit σ>4 (brauchbare Näherung besser σ>9). Die Wahrscheinlichkeit für genau und höchstens k Erfolge lässt sich näherungsweise berechnen durch:

$P(X=k) \approx {1 \over \sigma}\cdot\varphi \left({k-\mu \over \sigma}\right)$

$P(X \le k) = F_X(k) \approx \varphi \left({k-\mu \over \sigma}\right)$

Wahrscheinlichkeitsberechnung mit Hilfe der Gaußschen Integralfunktion

Gaußsche Dichtefunktion φ (auch als Glockenkurve bekannt)

$\varphi(x) = {1 \over \sqrt{2 \pi}}\, {\rm e}^\frac{-x^2}{2}$

Gaußsche Integralfunktion Ψ

$\Phi(z) = \int\limits_{-\infty}^{z} \varphi (t) d t$

Näherungsformeln:

$P(X=k) \approx \Phi \left( {k+0{,}5-\mu \over \sigma}\right) - \Phi \left( {k-0{,}5-\mu \over \sigma}\right)$

$P(X\le k) \approx \Phi \left( {k+0{,}5-\mu \over \sigma}\right)$

$P(a\le X\le b) \approx \Phi \left( {b+0{,}5-\mu \over \sigma}\right) - \Phi \left( {a-0{,}5-\mu \over \sigma}\right)$

Hypergeometrische Verteilung

In einer Grundgesamtheit vom Umfang N seien zwei Merkmalsausprägungen vom Umfang K bzw. N − K vertreten. Eine Stichprobe vom Umfang n werde genommen. Dann nennt man die Verteilung der Zufallsgröße: X: Anzahl der Exemplare der 1. Merkmalsausprägung in der Stichprobe einer hypergeometrischen Verteilung.

Die Wahrscheinlichkeit, dass in der Stichprobe vom Umfang n genau k Exemplare der 1. Merkmalsausprägung sind, ist:

$P(X=k)={\binom{K}{k}\cdot\binom{N-K}{n-k}\over\binom{N}{n}}$

N = Anzahl der Elemente, K = Anzahl der positiven Elemente, n = Anzahl der Ziehungen, k = Anzahl der Erfolge.

Sei $p=\tfrac KN$ der Anteil, mit dem die 1. Merkmalsausprägung in der Gesamtheit vorkommt, dann gilt:

$\mu = E(X) = n\cdot p = n\cdot \frac{K}{N}$

$\sigma^2 = V(X) = n\cdot p (1-p) \frac{N-n}{N-1}= n\cdot \frac{K}{N}\left(1-\frac{K}{N}\right)\frac{N-n}{N-1}$

Geometrische Verteilung

Gegeben ist ein Bernoulli-Versuch mit Erfolgswahrscheinlichkeit p. Die Verteilung der Zufallsgröße W: Anzahl der Stufen bis zum ersten Erfolg heißt geometrische Verteilung. Es gilt:

$P(W=k) = p\cdot q^{k-1}$ (Erfolg genau beim k-ten Versuch)

$\, P(W > k)=q^{k}$ (k Misserfolge hintereinander bzw. der erste Erfolg kommt erst nach dem k-ten Versuch)

$P(W\le k)=1-q^{k}$ (Erfolg spätestens beim k-ten Versuch bzw. bis zum k-ten. Versuch tritt mindestens ein Erfolg ein)

Der Erwartungswert ist

$E(W) = \frac{1}{p}$

Weitere

Die unzähligen weiteren speziellen Verteilungen können hier nicht alle aufgeführt werden, es sei auf die Liste univariater Wahrscheinlichkeitsverteilungen verwiesen.

Approximationen von Verteilungen

Unter gewissen Approximationsbedingungen können Verteilungen auch durcheinander approximiert werden um Berechnungen zu vereinfachen. Je nach Lehrbuch können die Approximationsbedingungen etwas unterschiedlich sein.

	Nach
Von	B(n,p)	Po(λ)	N(μ,σ)
Diskrete Verteilungen
Binomialverteilung B(n,p)	--	n > 10, p < 0,05, λ: = np	$np(1-p)\geq 9$, μ: = np, σ2: = np(1 − p)
Hypergeometrische Verteilung Hyp(N,M,n)	$\frac{n}{N}<0,05$ $p:=\frac{M}{N}$	n > 10, $\frac{M}{N}<0,05$, $\lambda:=n\frac{M}{N}$	$n\frac{M}{N}\left(1-\frac{M}{N}\right)\geq 9$ $\mu:=n\frac{M}{N}$, $\sigma^2:=n\frac{M}{N}\left(1-\frac{M}{N}\right)\frac{N-n}{N-1}$
Poisson-Verteilung Po(λ)		--	λ > 9, μ: = λ, σ2: = λ
Stetige Verteilungen
Chi-Quadrat-Verteilung $\chi^2_n$			n > 30 μ: = n, σ2: = 2n
Studentsche t-Verteilung tn			n > 30 μ: = 0, σ2: = 1
Normalverteilung N(μ,σ)			--

Bei dem Übergang von einer diskreten Verteilung zu einer stetigen Verteilung kommt auch noch eine Stetigkeitskorrektur (wenn $\sigma^2\leq 9$ oder $n\leq 60$) in Betracht $P(a \leq X_{diskret} \leq b) \approx P(a-0.5 \leq X_{stetig} \leq b+0.5)$ und insbesondere $P(X_{diskret}=a) \approx P(a-0.5 \leq X_{stetig} \leq a+0.5)$.^[1]

Statistik

Beschreibende Statistik

Lagemaße

Arithmetisches Mittel: $\bar x = \frac{1}{n} \sum_{i=1}^n{x_i} = \frac{x_1 + x_2 + \cdots + x_n}{n}$

Median

Modus

Streuungsmaße

Stichprobenvarianz: $s^2=\frac{1}{n-1}\sum\limits_{i=1}^n\left(x_i-\bar x\right)^2 = \frac{1}{n-1}\left(\sum\limits_{i=1}^n x_i^2 - n \bar{x}^2\right)$

Standardabweichung: $s = \sqrt{s^2} = \sqrt{\frac{1}{n-1}\sum\limits_{i=1}^n\left(x_i-\bar x\right)^2}$

Zusammenhangsmaße

Empirische Kovarianz:

$\operatorname{Cov}_{xy} = \frac{1}{n-1}\sum_{i=1}^n{(x_i-\bar{x}) (y_i-\bar{y})} = \frac{1}{n-1} \left( \sum_{i=1}^n {(x_i y_i) - n\bar{x}\bar{y}} \right),$

Empirischer Korrelationskoeffizient:

$r_{xy} = \frac{\operatorname{Cov}_{xy}}{s_x \cdot s_y} = \frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sqrt{\sum(x_i-\bar x)^2\sum (y_i-\bar y)^2}}$

Gleichung der Regressionsgeraden: y = ax + b mit

$a=\frac{\operatorname{Cov}_{xy}}{s_x^2}=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$

$b=\bar y-a\bar x$,

wobei $\bar x$ und $\bar y$ die arithmetischen Mittel bedeuten.

Schließende Statistik

siehe Signifikanztest, Chi-Quadrat-Test

Einzelnachweise

1. ↑ Yates, F. (1934). Contingency table involving small numbers and the χ2 test. Supplement to the Journal of the Royal Statistical Society 1(2): 217-235. JSTOR Archive for the journal