Teorema de Sanov

Em teoria da informação, o teorema de Sanov dá um limite à probabilidade de observar uma sequência atípica de amostras a partir de uma dada distribuição de probabilidade.^[1]

Definição

[editar | editar código-fonte]

Considere $A$ um conjunto de distribuições de probabilidade sobre um alfabeto $X$ e considere $q$ uma distribuição arbitrária sobre $X$ , sendo que $q$ pode ou não estar em $A$ . Suponha que são retiradas $n$ amostras independentes e identicamente distribuídas a partir de $q$ , representadas pelo vetor $x^{n}=x_{1},x_{2},\ldots ,x_{n}$ . Além disto, deseja-se saber se a distribuição empírica, ${\hat {p}}_{x^{n}}$ , das amostras cai no interior do conjunto $A$ — formalmente, escreve-se $\{x^{n}:{\hat {p}}_{x^{n}}\in A\}$ . Então,

$q^{n}(x^{n})\leq (n+1)^{|X|}2^{-nD_{\mathrm {KL} }(p^{*}||q)},$

em que

$q^{n}(x^{n})$ é uma abreviação para $q(x_{1})q(x_{2})\cdots q(x_{n})$ e
$p^{*}$ é a projeção de informação de $q$ sobre $A$ .

Em palavras, a probabilidade de retirar uma distribuição atípica é proporcional à divergência de Kullback–Leibler da distribuição verdadeira à distribuição atípica. No caso em que consideramos um conjunto de possíveis distribuições atípicas, há uma distribuição atípica dominante, dada pela projeção de informação.

Além disto, se $A$ for o fecho de seu interior,

$\lim _{n\to \infty }{\frac {1}{n}}\log q^{n}(x^{n})=-D_{\mathrm {KL} }(p^{*}||q).$ ^[2]

Referências

[editar | editar código-fonte]

↑ Sanov, I. N. «On the probability of large deviations of random variables». North Carolina State University. Consultado em 17 de janeiro de 2018
↑ Cover, Thomas M.; Thomas, Joy A. (28 de novembro de 2012). Elements of Information Theory (em inglês). [S.l.]: John Wiley & Sons. ISBN 9781118585771

v d e Processos estocásticos
Tempo discreto	Cadeias de Markov Passeio aleatório Autoevitante Processo de Bernoulli Processo de Galton–Watson Processo de Moran Variáveis aleatórias independentes e identicamente distribuídas
Tempo contínuo	Processo de Bessel Movimento browniano Ponte Excursão Fracionário Geométrico Meander Processo de Cauchy Processo de Cox Processo de Feller Processo de Fleming–Viot Processo de Hunt Difusão de Itô Processo de Itô Processo Lévy Tempo local Processo aditivo de Markov Processo de McKean–Vlasov Processo Ornstein–Uhlenbeck Processo de Poisson Evolução de Schramm–Loewner Processo de Wiener Processo de nascimento e morte Processo de contato Passeio aleatório de tempo contínuo Processo empírico Difusão de salto
Ambos	Processo gaussiano Modelo Galves-Löcherbach Cadeias estocásticas com memória de alcance variável Modelo oculto de Markov Processo de Markov Martingale Ruído branco Processo regenerativo
Campos e outros	Processo de Dirichlet Medida de Gibbs Modelo de Hopfield Modelo de Ising Modelo de Potts Campo aleatório de Markov Processo de Pitman–Yor Grafo aleatório
Modelos de série temporal	Modelos ARCH ARIMA ARMA
Modelos financeiros	Black–Derman–Toy Black–Karasinski Chen Cox–Ingersoll–Ross (CIR) Garman–Kohlhagen Heath–Jarrow–Morton (HJM) Heston Ho–Lee Hull–White LIBOR market Rendleman–Bartter SABR volatility Vašíček Wilkie
Modelos atuariais	Bühlmann Cramér–Lundberg Sparre–Anderson
Modelos de filas	Fila M/M/1
Propriedades	Càdlàg Processo contínuo de Feller Gauss–Markov Markov Contínuo Reversível no tempo
Teoremas limites	Teorema central do limite Teorema de Donsker Teoria ergódica Teorema de Fisher–Tippett–Gnedenko Lei dos grandes números Lei do logaritmo iterado Teorema de Sanov
Desigualdades	Burkholder–Davis–Gundy Kunita–Watanabe Martingale de Doob
Ferramentas	Fórmula de Cameron–Martin Convergência de variáveis aleatórias Exponencial de Doléans-Dade Teorema da decomposição de Doob–Meyer Fórmula de Dynkin Fórmula de Feynman–Kac Teorema de Girsanov Integral de Itô Lema de Itō Teorema da continuidade de Kolmogorov Teorema da extensão de Kolmogorov Métrica de Lévy–Prokhorov Teorema de Prokhorov Integral de Skorokhod Teorema da representação de Skorokhod Espaço de Skorokhod Equação diferencial estocástica Tanaka Integral de Stratonovich Espaço de Wiener Clássico Abstrato Princípio da reflexão
Disciplinas	Ciências atuariais Econometria Teoria ergódica Matemática financeira Teoria das probabilidades Teoria das filas Estatística Cálculo estocástico Série temporal Aprendizado de máquina
Categoria:Processos estocásticos

Este artigo sobre matemática é um esboço. Você pode ajudar a Wikipédia expandindo-o.