Théorème de Sanov

Le théorème de Sanov est un résultat de probabilités et statistique fondamentales démontré en 1957^[1]. Il établit un principe de grandes déviations pour la mesure empirique d'une suite de variables aléatoires i.i.d. dont la fonction de taux est la divergence de Kullback-Leibler.

Énoncé

Soient ${\displaystyle X_{1},\dots ,X_{n}}$ des variables indépendantes et identiquement distribuées à valeurs dans un espace mesurable ${\displaystyle ({\mathcal {X}},{\mathcal {T}})}$ distribuées selon une loi ${\displaystyle P_{X}\in {\mathcal {P}}}$, où ${\displaystyle {\mathcal {P}}}$ désigne l'ensemble des mesures de probabilités sur ${\displaystyle ({\mathcal {X}},{\mathcal {T}})}$. On munit l'espace ${\displaystyle {\mathcal {P}}}$ de la ${\displaystyle \tau }$-topologie, i.e. la topologie engendrée par les ensembles

${\displaystyle U(P,{\mathcal {A}},\varepsilon )=\{P'\in {\mathcal {P}}:|P'(A_{i})-P(A_{i})|<\varepsilon ,i=1,\dots ,k\}}$

avec ${\displaystyle {\mathcal {A}}=(A_{1},\dots ,A_{k})}$ une partition de ${\displaystyle {\mathcal {X}},P\in {\mathcal {P}}}$ et ${\displaystyle \varepsilon >0}$.

On note ${\displaystyle \mathbb {P} _{n}}$ la mesure empirique de l'échantillon ${\displaystyle X_{1},\dots ,X_{n}}$, i.e. la mesure de probabilité discrète définie par

${\displaystyle \mathbb {P} _{n}(A)={\dfrac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{A}(X_{i})={\frac {1}{n}}\sum _{i=1}^{n}\delta _{X_{i}}(A).}$

La mesure empirique ${\displaystyle \mathbb {P} _{n}}$ vérifie le principe des grandes déviations dans ${\displaystyle {\mathcal {P}}}$ équipé de la ${\displaystyle \tau }$-topologie avec la fonction de Kullback-Leibler ${\displaystyle d_{\mathrm {KL} }}$. Autrement dit pour ${\displaystyle \Gamma \subset {\mathcal {P}}}$,

${\displaystyle {\begin{aligned}\liminf _{n\to +\infty }{\frac {1}{n}}\log P_{X}(\mathbb {P} _{n}\in \Gamma )&\geq -\inf _{P\in \mathrm {Int} _{\tau }\Gamma }d_{\mathrm {KL} }(P||P_{X})\\\limsup _{n\to +\infty }{\frac {1}{n}}\log P_{X}(\mathbb {P} _{n}\in \Gamma )&\leq -\inf _{P\in \mathrm {Adh} _{\tau }\Gamma }d_{\mathrm {KL} }(P||P_{X})\end{aligned}}}$

où ${\displaystyle \mathrm {Int} _{\tau }\Gamma }$ et ${\displaystyle \mathrm {Adh} _{\tau }\Gamma }$ désignent respectivement l'intérieur et l'adhérence de ${\displaystyle \Gamma }$ par rapport à la ${\displaystyle \tau }$-topologie.

L'intérêt de ce théorème réside dans le fait que si l'on choisit un ensemble ${\displaystyle \Gamma \subset {\mathcal {P}}}$ qui ne contient pas ${\displaystyle P_{X}}$, on pourra affirmer que la probabilité que la mesure empirique appartienne à cet ensemble est exponentiellement décroissante.

Démonstration

Plusieurs démonstrations de ce résultat ont été établies. Dembo et Zeitouni^[2] proposent dans un premier temps la démonstration du théorème de Sanov dans le cas d'un alphabet fini (théorème 2.1.10), i.e. quand ${\displaystyle |{\mathcal {X}}|<+\infty }$ puis généralisent dans le cas des espaces polonais (théorème 6.2.10). En 2006^[3], Csiszár publie une preuve simple et autonome de ce résultat. Cet article s'appuie notamment sur les outils utilisés pour la démonstration dans le cas d'un alphabet fini et réussit à l'étendre à n'importe quel espace en utilisant l'équivalence de la définition de la distance de Kullback-Leibler, à savoir

${\displaystyle d_{\mathrm {KL} }(P||Q)=\sup _{(A_{1},\dots ,A_{k})\in \Pi }\sum _{i=1}^{k}P(A_{i})\log \left({\frac {P(A_{i})}{Q(A_{i})}}\right),}$

où ${\displaystyle \Pi }$ est l'ensemble des partitions finies de ${\displaystyle {\mathcal {X}}}$. Cette équivalence est citée par Csiszár^[4] qui renvoie au livre de Pinsker^[5].

Notes et références

1. (en) I. N. Sanov, « On the probability of large deviations of random variables », Matematicheskii Sbornik,‎ 1957, p. 11-44 (lire en ligne)
2. (en) Amir Dembo et Ofer Zeitouni, Large Deviations Techniques and Applications, Berlin/New York, Springer-Verlag, 2010, 396 p. (ISBN 978-3-642-03311-7, lire en ligne)
3. (en) Imre Csiszár, « A simple proof of Sanov’s theorem », Bulletin of the Brazilian Mathematical Society, vol. 37,‎ 2006, p. 453-459 (lire en ligne)
4. (en) Imre Csiszár, « Sanov property, generalized I-projection and a conditionnal limit theorem », The Annals of Probability, vol. 12, n^o 3,‎ 1984, p. 768-793 (lire en ligne)
5. (en) M. S. Pinsker, Information and Information Stability of Random Variables and Processes, Holden-Day, 1964, 243 p. (ISBN 0-8162-6804-5)

• Portail des mathématiques
• Portail des probabilités et de la statistique