Desigualtat de Cramér-Rao

En estadística, el llindar de Cramér-Rao (abreujada CRB per les seves sigles de l'anglès) o llindar inferior de Cramér-Rao (CRLB), anomenat així en honor de Harald Cramér i Calyampudi Radhakrishna Rao, expressa una cota inferior per a la variància d'un estimador no esbiaixat, basat en la informació de Fisher.^[1][2][3]

Estableix que la inversa multiplicativa de la informació de Fisher d'un paràmetre ${\displaystyle \theta }$,${\displaystyle {\mathcal {I}}(\theta )}$, és una cota inferior per a la variància d'un estimador no esbiaixat del paràmetre (denotat mitjançant ${\displaystyle {\widehat {\theta }}}$). ${\displaystyle f}$ és la funció de versemblança.

${\displaystyle \mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{\mathrm {E} \left[\left[{\frac {\partial }{\partial \theta }}\log f(X;\theta )\right]^{2}\right]}}}$

En alguns casos, no existeix un estimador no esbiaixats que pugui aconseguir aquest llindar inferior.

A aquesta cota la hi coneix també com la desigualtat de Cramér-Rao o com la desigualtat d'informació.

Condicions de regularitat

La cota depèn de dues condicions de regularitat febles de la funció de densitat de probabilitat, ${\displaystyle f(x;\theta )}$, i de l'estimador :${\displaystyle T(X)}$

• La informació de Fisher sempre està definida; en altres paraules, per a tot ${\displaystyle x}$ tal que ${\displaystyle f(x;\theta )>0}$,

${\displaystyle {\frac {\partial }{\partial \theta }}\ln f(x;\theta )}$

és finit.

• Les operacions d'integració pel que fa a x i de diferenciació pel que fa a poden intercanviar-se en l'esperança de ; és a dir,${\displaystyle \theta }$${\displaystyle T}$

${\displaystyle {\frac {\partial }{\partial \theta }}\left[\int T(x)f(x;\theta )\,dx\right]=\int T(x)\left[{\frac {\partial }{\partial \theta }}f(x;\theta )\right]\,dx}$

sempre que el membre dret de l'equació sigui finit.

En alguns casos, un estimador esbiaixat pot tenir tant variància com a error quadràtic mig per sota de la cota inferior de Cramér-Rao (la cota inferior s'aplica solament a estimadors no esbiaixats).

Si s'estén la segona condició de regularitat a la segona derivada, llavors es pot usar una forma alternativa de la informació de Fisher per obtenir una nova desigualtat de Cramér-Rao

${\displaystyle \mathrm {var} \left({\widehat {\theta }}\right)\geq {\frac {1}{{\mathcal {I}}(\theta )}}={\frac {1}{-\mathrm {E} \left[{\frac {d^{2}}{d\theta ^{2}}}\log f(X;\theta )\right]}}}$

En alguns casos pot resultar més senzill prendre l'esperança pel que fa a la segona derivada que prendre-la respecte del quadrat de la primera derivada.

Exemple

Distribució normal multivariada

Pel cas d'una sistribució normal multivariant de dimensió d

${\displaystyle {\boldsymbol {x}}\sim N_{d}\left({\boldsymbol {\mu }}\left({\boldsymbol {\theta }}\right),C\left({\boldsymbol {\theta }}\right)\right)}$

amb la funció de densitat de probabilitat

${\displaystyle f\left({\boldsymbol {x}};{\boldsymbol {\theta }}\right)={\frac {1}{\sqrt {(2\pi )^{d}\left|C\right|}}}\exp \left(-{\frac {1}{2}}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)^{T}C^{-1}\left({\boldsymbol {x}}-{\boldsymbol {\mu }}\right)\right),}$

la matriu d'informació de Fisher té les entrades

${\displaystyle {\mathcal {I}}_{m,k}={\frac {\partial {\boldsymbol {\mu }}^{T}}{\partial \theta _{m}}}C^{-1}{\frac {\partial {\boldsymbol {\mu }}}{\partial \theta _{k}}}+{\frac {1}{2}}\mathrm {tr} \left(C^{-1}{\frac {\partial C}{\partial \theta _{m}}}C^{-1}{\frac {\partial C}{\partial \theta _{k}}}\right)}$

on ${\displaystyle tr}$ és la traça de la matriu.

En particular, si ${\displaystyle w[n]}$ és soroll blanc gaussià (una mostra d'${\displaystyle N}$ observacions independents) amb variança coneguda ${\displaystyle \sigma ^{2}}$, és a dir,

${\displaystyle w[n]\sim \mathbb {N} _{N}\left({\boldsymbol {\mu }}(\theta ),\sigma ^{2}{\mathcal {I}}\right),}$

i ${\displaystyle \theta }$ és un escalar, aleshores la matriu d'informació de Fisher és de dimensió 1 × 1

${\displaystyle {\mathcal {I}}(\theta )=\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{m}}}\right)^{T}C^{-1}\left({\frac {\partial {\boldsymbol {\mu }}(\theta )}{\partial \theta _{k}}}\right)=\sum _{i=0}^{N}{\frac {1}{\sigma ^{2}}}={\frac {N}{\sigma ^{2}}},}$

i per tant el llindar de Cramér-Rao és

${\displaystyle \mathrm {var} \left(\theta \right)\geq {\frac {\sigma ^{2}}{N}}.}$

Referències

1. Cramér, Harald. Mathematical Methods of Statistics. Princeton Univ. Press, 1946. ISBN 0-691-08004-6. OCLC 185436716. 
2. Rao, Calyampudi Radakrishna «Information and the accuracy attainable in the estimation of statistical parameters». Bulletin of the Calcutta Mathematical Society, 37, 1945, pàg. 81–89.
3. Rao, Calyampudi Radakrishna. S. Das Gupta. Selected Papers of C. R. Rao. Wiley, 1994. ISBN 978-0-470-22091-7. OCLC 174244259. 

Bibliografia

• Kay, Steven M. Statistical Signal Processing, Volume I: Estimation Theory. Prentice Hall, 1993, p. ch. 3. ISBN 0-13-345711-7. 

Enllaços externs

• FandPLimitTool Arxivat 2012-12-15 at Archive.is un programa que calcula la informació de Fisher i el llindar inferior de Cramér-Rao en l'aplicació específica de la macroscòpica d'una única molècula.