Generator (Markow-Prozesse)

Der Erzeuger, Generator, infinitesimale Erzeuger oder infinitesimale Generator der Übergangshalbgruppe eines zeithomogenen Markow-Prozesses in stetiger Zeit ist ein Operator, welcher das stochastische Verhalten des Prozesses in infinitesimaler Zeit erfasst. Aufgrund der Markow-Eigenschaft und der zeitlichen Homogenität wird der Prozess unter bestimmten Voraussetzungen durch seinen infinitesimalen Erzeuger bestimmt bzw. generiert.

Allgemeiner Fall (nach Breiman)

Gegeben sei ein zeithomogener Markow-Prozess ${\displaystyle (M_{t})_{t\geq 0}}$ auf einem Zustandsraum ${\displaystyle (E,{\mathfrak {E}})}$ mit Übergangshalbgruppe ${\displaystyle (P^{t})_{t\geq 0}}$, das heißt für alle ${\displaystyle t\in \mathbb {R} _{\geq 0}}$ ist ${\displaystyle P^{t}}$ der entsprechende Übergangskern. Ferner sei ${\displaystyle X}$ der Raum der beschränkten, borelmessbaren Funktionen ${\displaystyle f\colon E\rightarrow \mathbb {R} }$, dann kann jeder Übergangskern als Abbildung ${\displaystyle P^{t}\colon X\to X}$ aufgefasst werden.

Der infinitesimale Erzeuger ${\displaystyle A}$ des Prozesses ist der Operator mit Definitionsbereich

${\displaystyle {\mathcal {D}}(A):=\left\{f\in X\;\left|\;\forall x\in E{\text{ existiert }}\lim _{t\downarrow 0}{\frac {P^{t}f(x)-f(x)}{t}}\right.\right\}}$,

der für alle ${\displaystyle f\in {\mathcal {D}}(A)}$ gegeben ist durch

${\displaystyle Af=\lim _{t\downarrow 0}{\frac {P^{t}f-f}{t}}}$.

Ausführlich bedeutet das, dass für alle ${\displaystyle x\in E}$ gilt

${\displaystyle Af(x)=\lim _{t\downarrow 0}{\frac {P^{t}f(x)-f(x)}{t}}=\lim _{t\downarrow 0}{\frac {\operatorname {E} _{x}[f(M_{t})]-f(x)}{t}}}$

mit

${\displaystyle P^{t}f(x)=\int f(y)P^{t}(x,dy)=\int f(y)\operatorname {P} _{x}^{M_{t}}(dy)=\operatorname {E} _{x}[f(M_{t})]}$.

Dabei bezeichnet ${\displaystyle \operatorname {P} _{x}^{M_{t}}}$ die Verteilung von ${\displaystyle M_{t}}$ und ${\displaystyle \operatorname {E} _{x}}$ den Erwartungswert bedingt auf den Startwert ${\displaystyle M_{0}=x\in E}$.

Spezialfall abzählbarer Zustandsraum

Sei ${\displaystyle (M_{t})_{t\geq 0}}$ ein zeitlich homogener Markow-Prozess mit kontinuierlicher Zeit, diskretem Zustandsraum ${\displaystyle E}$ und Übergangshalbgruppe ${\displaystyle (P^{t})_{t\geq 0}}$ mit Übergangsmatrix ${\displaystyle P^{t}:=(p_{ij}(t))_{(i,j)\in E^{2}}}$ für alle ${\displaystyle t\geq 0}$.

Halbgruppe, Intensitätsmatrix, Q-Matrix

Die Übergangsfunktion bzw. Übergangsmatrizen ${\displaystyle (P^{t})_{t\geq 0}}$ bilden wegen der Chapman-Kolmogorow-Gleichungen eine Halbgruppe. Sie können wie oben aufgefasst werden als Abbildungen ${\displaystyle P^{t}\colon X\to X}$ wobei ${\displaystyle X}$ den Raum der beschränkten, borelmessbaren Funktionen ${\displaystyle f:E\rightarrow \mathbb {R} }$ bezeichnet.

${\displaystyle (P^{t})_{t\geq 0}}$ besitzt die Standard-Eigenschaft bzw. wird Standard-Übergangsfunktion genannt, wenn

${\displaystyle \lim _{t\downarrow 0}p_{ij}(t)=p_{ij}(0)\;\;\;\forall (i,j)\in E^{2}}$

bzw. kurz

${\displaystyle \lim _{t\downarrow 0}P^{t}=I}$

mit der Einheitsmatrix ${\displaystyle I}$.

Besitzt ${\displaystyle (P^{t})_{t\geq 0}}$ die Standard-Eigenschaft, so gilt für alle ${\displaystyle (i,j)\in E^{2}}$:
Die Abbildungen ${\displaystyle t\mapsto p_{ij}(t)}$ sind gleichmäßig stetig, für alle ${\displaystyle t>0}$ differenzierbar und besitzen im Punkt 0 die rechtsseitige Ableitung

${\displaystyle q_{ij}:=\lim _{t\downarrow 0}{\frac {p_{ij}(t)-p_{ij}(0)}{t}}\;\;\;\forall (i,j)\in E^{2}.}$

Kurz geschrieben, definiert man dies durch

${\displaystyle Q:=\lim _{t\downarrow 0}{\frac {P^{t}-I}{t}}.}$

${\displaystyle Q=(q_{ij})_{ij}}$ heißt Intensitätsmatrix oder einfach Q-Matrix.

Für alle ${\displaystyle i\in E}$ gilt ${\displaystyle q_{ii}\in [-\infty ,0]}$, und für alle ${\displaystyle i,j\in E}$ mit ${\displaystyle i\neq j}$ gilt ${\displaystyle q_{ij}\in [0,\infty [}$.

Ein Zustand ${\displaystyle i\in E}$ heißt stabil, wenn ${\displaystyle q_{ii}>-\infty }$, sonst augenblicklich.

Die Übergangsfunktion ${\displaystyle (P^{t})_{t\geq 0}}$ heißt stabil, wenn alle Zustände stabil sind; in diesem Fall sind alle Einträge der zugehörigen Intensitätsmatrix endlich.

Ein Zustand ${\displaystyle i\in E}$ heißt absorbierend, wenn ${\displaystyle q_{ii}=0}$ gilt, was genau dann der Fall ist, wenn ${\displaystyle p_{ii}(t)=1}$ für alle ${\displaystyle t\geq 0}$ gilt.

Die Matrix ${\displaystyle Q}$ und der zugehörige Markov-Prozess werden als konservativ bezeichnet, wenn alle Zeilensummen von ${\displaystyle Q}$ null sind; dies ist genau dann der Fall, wenn ${\displaystyle \sum _{i\neq j}q_{ij}=-q_{ii}<\infty }$ für alle ${\displaystyle i\in E}$ gilt.

Ist ${\displaystyle Q}$ konservativ, der Prozess stabil und divergiert die Folge der Sprungzeiten vor Erreichen eines absorbierenden Zustands fast sicher, so wird der Prozess als regulär bezeichnet.

Die Einträge ${\displaystyle q_{ij}}$ lassen sich wie folgt interpretieren:

• Betrachtet man den zu ${\displaystyle P_{t}}$ gehörigen Prozess, kann man mit Hilfe von ${\displaystyle q_{ii}}$ die Verweilzeit in einem Zustand ${\displaystyle i\in E}$ angeben. Diese ist exponentialverteilt mit Erwartungswert ${\displaystyle -{\tfrac {1}{q_{ii}}}}$, das heißt für ${\displaystyle t,h>0,q_{ii}>-\infty }$ gilt ${\displaystyle P(X_{s}=i,\forall s\colon t<s<t+h\mid X_{t}=i)=e^{hq_{ii}}}$. Ein absorbierender Zustand hat dann entsprechend eine unendliche Verweilzeit.
• Es gilt ${\displaystyle \quad p_{ij}(h)=q_{ij}h+o(h)}$, der Prozess ist also „lokal poisson“ und ${\displaystyle q_{ij}}$ gibt für kleine ${\displaystyle h>0}$ die Rate an, mit der Prozess aus ${\displaystyle i}$ in den Zustand ${\displaystyle j}$ springt (${\displaystyle i,j\in E,i\neq j}$).

Über diese Interpretation ist es in der Praxis oft leichter, eine geeignete Q-Matrix aus den Modellannahmen herzuleiten, als ${\displaystyle P_{t}}$ direkt anzugeben, zum Beispiel bei M/M/1/∞-Systemen.

Gleichmäßig stetige Halbgruppe mit infinitesimalem Erzeuger

Ist die Übergangsfunktion ${\displaystyle (P^{t})_{t\geq 0}}$ stabil, so ist sie eine gleichmäßig stetige Halbgruppe deren infinitesimaler Erzeuger ${\displaystyle Q}$ ist.
Dann kann aus dem Verhalten in infinitesimaler Zeit ${\displaystyle Q}$ das langfristige Verhalten zurückgewonnen werden:

${\displaystyle P(t)=e^{tQ}\quad {\text{für alle}}\quad t\geq 0}$,

wobei ${\displaystyle e}$ das Matrixexponential bezeichnet. Dies ist zum Beispiel der Fall für endliche Zustandsräume. Die stationäre Verteilung ${\displaystyle \pi }$ von ${\displaystyle (P^{t})_{t\geq 0}}$ lässt sich dann als Lösung des folgenden Gleichungssystems

${\displaystyle \pi \cdot Q={\vec {0}}}$

bestimmen, wobei ${\displaystyle \pi }$ als Zeilenvektor aufgefasst wird.

Generatoren von Feller-Prozessen

Feller-Prozesse sind Markow-Prozesse, bei denen die Übergangswahrscheinlichkeiten ${\displaystyle P^{t}(x,A)}$ qua ${\displaystyle (P^{t}f)(x):=\int P^{t}(x,dy)f(y)=\operatorname {E} _{x}f(M_{t})}$ einer stark stetigen Halbgruppe auf dem Raum ${\displaystyle C_{0}(E)}$ der stetigen, im Unendlichen verschwindenden Funktionen entsprechen. In diesem Fall kann der Generator der entsprechenden Halbgruppe

${\displaystyle Af={\underset {t\downarrow 0}{\operatorname {s-lim} }}{\frac {P^{t}f-f}{t}}}$

(definiert für alle ${\displaystyle f\in C_{0}(E)}$ für die der Grenzwert bezüglich der Supremumsnorm existiert) betrachtet und der Satz von Hille-Yosida angewendet werden.

Dynkins charakteristischer Operator

Der charakteristische Operator ist eine probabilistische Entsprechung des analytischen Generators ${\displaystyle A}$, mit dem oft leichter zu arbeiten ist.^[1] Während in obiger Definition der Erwartungswert von ${\displaystyle f(X_{t})}$ zu einem festen Zeitpunkt ${\displaystyle t}$ gebildet wird (und anschließend ${\displaystyle t}$ gegen 0 geht), wird hier der Erwartungswert von ${\displaystyle f(X_{\tau })}$ an den unterschiedlichen (zufälligen) Zeitpunkten ${\displaystyle \tau =\tau (B)}$ gebildet, zu denen der Prozess einen festgelegten räumlichen Bereich ${\displaystyle B}$, zum Beispiel eine Kugel ${\displaystyle B_{\nu ,x}}$ um ${\displaystyle x=X_{0}}$ mit Radius ${\displaystyle \nu }$, verlässt. Für nicht absorbierendes ${\displaystyle x}$ setzt man

${\displaystyle (Uf)(x):=\lim _{\nu \to 0}{\frac {\operatorname {E} _{x}[f(X_{\tau (B_{\nu ,x})})]-f(x)}{\operatorname {E} _{x}[\tau (B_{\nu ,x})]}},}$

für absorbierendes ${\displaystyle x}$ setzt man ${\displaystyle (Uf)(x)=0}$. Für große Klasse von Feller-Prozessen gilt ${\displaystyle Af=Uf}$ für stetige, im Unendlichen verschwindende Funktionen ${\displaystyle f}$ aufgrund von Dynkins Maximum-Prinzip.

Die Definition und der genannte Zusammenhang gehen auf eine Arbeit von E. B. Dynkin aus dem Jahr 1955 zurück.^[2]

Literatur

• Leo Breiman: Probability. Addison-Wesley Publishing Company, Reading, Massachusetts 1968, ISBN 0-89871-296-3.
• Bernt Øksendal: Stochastic Differential Equations. An Introduction with Applications. Springer Berlin 2003, ISBN 3-540-04758-1.
• Daniel Revuz, Marc Yor: Continuous Martingales and Brownian Motion. Springer 2001, ISBN 3-540-64325-7.
• Manuela Schmitz, Quasi-Stationarität in einem epidemiologischen Modell, 2006, Kapitel 1.1 (PDF-Datei; 418 kB).

Weblinks

Einzelnachweise

1. Breiman, S. 377.
2. E. B. Dynkin: Infinitesimal operators of Markov stochastic processes, Doklady Akademii Nauk Nr. 105, 1955, S. 206–209.