Generator (Markow-Prozesse)

Der Erzeuger, Generator, infinitesimale Erzeuger oder infinitesimale Generator der Übergangshalbgruppe eines zeithomogenen Markow-Prozesses in stetiger Zeit ist ein Operator, welcher das stochastische Verhalten des Prozesses in infinitesimaler Zeit erfasst. Aufgrund der Markow-Eigenschaft und der zeitlichen Homogenität wird der Prozess unter bestimmten Voraussetzungen durch seinen infinitesimalen Erzeuger bestimmt bzw. generiert.

Allgemeiner Fall (nach Breiman)

Gegeben sei ein zeithomogener Markow-Prozess $(M_{t})_{t\geq0}$ auf einem Zustandsraum $(E, \mathfrak E)$.
Ferner sei X der Raum der beschränkten, borelmessbaren Funktionen $f:E\rightarrow \R$.
$(P^{t})_{t\geq0}$ sei die Übergangshalbgruppe dieses Markow-Prozesses.
Für alle $t\in\R_{\geq0}$ ist P^t der entsprechende Übergangskern. Er kann als Abbildung $P^{t}:X\to X$ aufgefasst werden.
$(P^{t})_{t\geq0}$ hat einen infinitesimalen Erzeuger A.
Der Definitionsbereich von A ist

$\mathcal{D}(A):=\left\{f \in X \;\left|\; \forall x\in E \lim_{t\downarrow 0} \frac{P^tf(x) - f(x)}{t} \text{ existiert } \right.\right\}$

Für alle $f\in\mathcal{D}(A)$ gilt dann

$Af=\lim_{t\downarrow0}\frac{P^tf - f}{t},$

was in aller Ausführlichkeit bedeutet, dass für alle $x\in E$

$A f(x)=\lim_{t\downarrow0}\frac{P^tf(x) - f(x)}{t}=\lim_{t\downarrow0}\frac{E_x[f(M_t)]-f(x)}{t}$

mit

$P^tf(x)=\int f(y)P^t(x,dy)=\int f(y)P_x^{M_t}(dy)=E_x[f(M_t)].$

Spezialfall abzählbarer Zustandsraum

Sei $(M_t)_{t \ge 0}$ ein zeitlich homogener Markow-Prozess mit kontinuierlicher Zeit und diskretem Zustandsraum E und Übergangshalbgruppe $(P^t)_{t\geq0}$ mit Übergangsmatrix $P^t := (p_{ij} (t))_{(i,j)\in E^2}$ für alle $t\in\R_{\geq 0}$.

Halbgruppe, Intensitätsmatrix, Q-Matrix

Die Übergangsfunktion bzw. Übergangsmatrizen $(P^t)_{t\geq0}$ bilden wegen der Chapman-Kolmogorow-Gleichungen eine Halbgruppe.
[Sie können wie oben aufgefasst werden als Abbildungen $P^{t}:X\to X$ wobei X den Raum der beschränkten, borelmessbaren Funktionen $f:E\rightarrow \R$ bezeichnet.]

$(P^t)_{t\geq0}$ besitzt die Standard-Eigenschaft bzw. wird Standard-Übergangsfunktion genannt, wenn

$\lim_{t \downarrow 0} p_{ij}(t) = p_{ij}(0) \;\;\;\forall (i,j)\in E^2$

bzw. kurz

$\lim_{t \downarrow 0} P^t = I.$

Besitzt $(P^t)_{t\geq0}$ die Standard-Eigenschaft, so gilt für alle $(i,j)\in E^2$:
Die Abbildung $t\mapsto p_{ij} (t)$ ist gleichmäßig stetig und für alle t > 0 differenzierbar und besitzt im Punkt 0 die rechtsseitige Ableitung

$q_{ij} := \lim_{t \downarrow 0}\frac{p_{ij}(t)-p_{ij}(0)}t\;\;\;\forall (i,j)\in E^2.$

Kurz geschrieben, definiert man dies durch

$Q := \lim_{t \downarrow 0}\frac{P^t-I}{t}.$

Q = (q_ij)_ij heißt Intensitätsmatrix oder einfach Q-Matrix.

Für alle $i\in E$ gilt $q_{ii}\in[-\infty,0]$, und für alle $i,j\in E$ mit $i \ne j$ gilt $q_{ij}\in[0,\infty[$.

Ein Zustand $i\in E$ heißt stabil, wenn $q_{ii}>-\infty$, sonst augenblicklich.

Die Übergangsfunktion $(P^t)_{t\geq0}$ heißt stabil, wenn alle Zustände stabil sind; in diesem Fall sind alle Einträge der zugehörigen Intensitätsmatrix endlich.

Ein Zustand $i\in E$ heißt absorbierend, wenn q_ii = 0, was genau dann der Fall ist, wenn für alle $t\geq0$ p_ii(t) = 1 gilt.

Die Matrix Q und der zugehörige Markov-Prozess werden als konservativ bezeichnet, wenn alle Zeilensummen von Q Null sind; dies ist genau dann der Fall, wenn $\sum_{i\neq j}q_{ij}=-q_{ii}<\infty$ für alle $i\in E$ gilt.

Die Einträge q_ij lassen sich wie folgt interpretieren:

• Betrachtet man den zu P_t gehörigen Prozess, kann man mit Hilfe von q_ii die Verweilzeit in einem Zustand $i \in E$ angeben. Diese ist exp( − q_ii)-verteilt, das heißt für $t,h > 0, q_{ij} > -\infty$ gilt $P(X_s = i, \forall s\colon t < s < t + h \mid X_t = i) = e^{q_{ii}(t)}$. Ein absorbierender Zustand hat dann entsprechend eine unendliche Verweilzeit.
• Es gilt $\quad p_{ij}(h) = q_{ij}h + o(h)$, der Prozess ist also „lokal poisson“ und q_ij gibt für kleine h > 0 die Rate an, mit der Prozess aus i in den Zustand j springt ($i, j \in E, i \ne j$).

Über diese Interpretation ist es in der Praxis oft leichter, eine geeignete Q-Matrix aus den Modellannahmen herzuleiten, als P_t direkt anzugeben, zum Beispiel bei M/M/1/∞-Systemen.

Gleichmäßig stetige Halbgruppe mit infinitesimalem Erzeuger

Ist die Übergangsfunktion $(P^{t})_{t\geq0}$ stabil, so ist sie eine gleichmäßig stetige Halbgruppe deren infinitesimaler Erzeuger Q ist.
Dann kann aus dem Verhalten in infinitesimaler Zeit Q das langfristige Verhalten zurückgewonnen werden:

$P(t) = e^{Qt}\;\;\;\;\; \forall t\in\R_{\geq 0}$

wobei e das Matrixexponential bezeichnet.

Dies ist zum Beispiel der Fall für endliche Zustandsräume.

Die stationäre Verteilung π von $(P^{t})_{t\geq0}$ lässt sich dann als Lösung des folgenden Gleichungssystems

$\pi \cdot Q = \vec{0}$

bestimmen, wobei π als Zeilenvektor aufgefasst wird.

Generatoren von Feller-Prozessen

Feller-Prozesse sind Markow-Prozesse, bei denen die Übergangswahrscheinlichkeiten P_t(x,A) qua $(T_t f)(x) := \int P_t(x, dy) f(y) = E_x f(X_t)$ einer stark stetigen Halbgruppe auf dem Raum C₀(E) der stetigen, im Unendlichen verschwindenden Funktionen entsprechen. In diesem Fall kann der Generator der entsprechenden Halbgruppe

$S f=\underset{t\to0}{\operatorname{s-lim}} \frac {Tf - f}t$

(definiert für alle $f \in C_0(E)$ für die der Grenzwert bezüglich der Supremumsnorm existiert) betrachtet und der Satz von Hille-Yosida angewendet werden.

Dynkins charakteristischer Operator

Der charakteristische Operator ist eine probabilistische Entsprechung des analytischen Generators S, mit dem oft leichter zu arbeiten ist.^[1] Während in obiger Definition der Erwartungswert von f(X_t) zu einem festen Zeitpunkt t gebildet wird (und anschließend t gegen 0 geht), wird hier der Erwartungswert von f(X_τ) an den unterschiedlichen (zufälligen) Zeitpunkten τ = τ(B) gebildet, zu denen der Prozess einen festgelegten räumlichen Bereich B, zum Beispiel eine Kugel B_ν,x um x = X₀ mit Radius ν, verlässt. Für nicht absorbierendes x setzt man

$(U f) (x) := \lim_{\nu\to0} \frac{E_x [f(X_{\tau(B_{\nu,x})})] - f(x)}{E_x[\tau(B_{\nu,x})]},$

für absorbierendes x setzt man (Uf)(x) = 0. Für große Klasse von Feller-Prozessen gilt Af = Uf für stetige, im Unendlichen verschwindende Funktionen f aufgrund von Dynkins Maximum-Prinzip.

Die Definition und der genannte Zusammenhang gehen auf eine Arbeit von E. B. Dynkin aus dem Jahr 1955 zurück. ^[2]

Literatur

• Leo Breiman: Probability. Addison-Wesley Publishing Company, Reading, Massachusetts, 1968.
• Bernt Øksendal: Stochastic Differential Equations. An Introduction with Applications, Springer Berlin 2003, ISBN 3-540-04758-1
• Daniel Revuz, Marc Yor: Continuous Martingales and Brownian Motion, Springer 2001, ISBN 3-540-64325-7
• Manuela Schmitz, Quasi-Stationarität in einem epidemiologischen Modell, 2006, Kapitel 1.1 (PDF-Datei; 418 kB)

Einzelnachweise

1. ↑ Breiman, S. 377.
2. ↑ E. B. Dynkin: Infinitesimal operators of Markov stochastic processes, Doklady Akademii Nauk Nr. 105, 1955, S. 206-209.