Distribució de Wishart

Distribució de Wishart

Tipus	distribució matriu gamma i distribució Wishart complexa
Epònim	John Wishart
Notació	X ~ Wp(V, n)
Paràmetres	n > p − 1 graus de llibertat (real) V > 0 matriu d'escala (p × p def. positiva)
Suport	X(p × p) matriu definida positiva
fdp	${\displaystyle {\frac {|\mathbf {X} |^{\frac {n-p-1}{2}}e^{-{\frac {{\rm {tr}}(\mathbf {V} ^{-1}\mathbf {X} )}{2}}}}{2^{\frac {np}{2}}|{\mathbf {V} }|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}}$ Γp és la funció gamma multivariada tr és la funció traça
Esperança matemàtica	nV
Moda	(n − p − 1)V per a n ≥ p + 1
Variància	${\displaystyle \operatorname {Var} (\mathbf {X} _{ij})=n\left(v_{ij}^{2}+v_{ii}v_{jj}\right)}$
FC	${\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}}$
Mathworld	WishartDistribution

En estadística, la distribució de Wishart és una generalització de la distribució khi quadrat a múltiples dimensions, o en el cas dels graus de llibertat no sencers de la distribució gamma. S'anomena així en honor de John Wishart, qui va formular per primera vegada la distribució l'any 1928.^[1]

És una família de distribucions de probabilitat definides sobre matrius simètriques, definides no negatives amb valors de variables aleatòries ("matrius aleatòries"). Aquestes distribucions són de gran importància en l'estimació de matrius de covariància en estadística multivariant.

Definició

Suposem que X és una matriu n × p, de la que cada fila s'obté de forma independent d'una distribució normal p-variada amb mitjana zero:

${\displaystyle X_{(i)}{=}(x_{i}^{1},\dots ,x_{i}^{p})\sim N_{p}(0,V).}$

La distribució de Wishart és la distribució de probabilitat de la matriu p × p aleatòria S = X^T X coneguda com la matriu de dispersió. Hom indica que S té aquesta distribució de probabilitat escrivint:

${\displaystyle S\sim W_{p}(V,n).}$

El nombre enter positiu n és el nombre de graus de llibertat. En certes ocasions això s'escriu com W(V, p, n). Per n ≥ p la matriu S és invertible amb probabilitat 1 si V és invertible.

Si p = V = 1 llavors aquesta distribució és una distribució khi-quadrat amb n graus de llibertat.

Ocurrència

La distribució de Wishart correspon a la distribució de la matriu de covariància d'una mostra de la distribució normal multivariada. Apareix amb freqüència en les proves de la raó de versemblança en l'anàlisi estadística multivariada. També es dona en la teoria espectral de matrius aleatòries i en l'anàlisi bayesiana multidimensional.^[2] També apareix en telecomunicacions en l'anàlisi de les característiques de l'esvaniment de Rayleigh en canals MIMO.^[3]

Funció densitat de probabilitat

La distribució de Wishart es pot caracteritzar per la seva funció de densitat de probabilitat de la següent manera:

Sigui X una matriu simètrica p × p de variables aleatòries definida positiva.

Sigui V una matriu (fixada) definida positiva de mida p × p.

Llavors, si n ≥ p, X segueix una distribució de Wishart amb n graus de llibertat si té una funció de densitat de probabilitat donada per:

${\displaystyle {\frac {1}{2^{\frac {np}{2}}\left|{\mathbf {V} }\right|^{\frac {n}{2}}\Gamma _{p}({\frac {n}{2}})}}{\left|\mathbf {X} \right|}^{\frac {n-p-1}{2}}e^{-{\frac {1}{2}}{\rm {tr}}({\mathbf {V} }^{-1}\mathbf {X} )}}$

on ${\displaystyle \left|{\mathbf {X} }\right|}$ és el determinant i Γ_p (·) és la funció gamma multivariant definida com:

${\displaystyle \Gamma _{p}\left({\tfrac {n}{2}}\right)=\pi ^{\frac {p(p-1)}{4}}\Pi _{j=1}^{p}\Gamma \left({\tfrac {n}{2}}+{\tfrac {1-j}{2}}\right)}$

De fet, aquesta definició es pot estendre a qualsevol valor real n > p – 1. Si n ≤ p – 1 llavors ja no segueix una distribució de Wishart sinó que en lloc seu representa una distribució singular que pren valors en un subespai de dimensió inferior a l'espai de les matrius p × p.^[4]

Ús en Estadística Bayesiana

En estadística bayesiana i en el context de la distribució normal multivariable, la distribució de Wishart és el conjugat previ de la matriu de precisió Ω = Σ ^-1, on Σ és la matriu de covariància.

Selecció dels paràmetres

L'adequada distribució de Wishart prèvia s'obté fixant n = p. La mitjana prèvia de W_p (V, n) és nV, el que suggereix que una opció raonable per a V ^{– 1} seria n Σ₀, on Σ₀ és una estimació prèvia de la matriu de covariància.

Propietats

Esperança matemàtica del logaritme de X

Considerem la següent expressió:^[5]

${\displaystyle \operatorname {E} [\ln |\mathbf {X} |]=\psi _{p}(n/2)+p\ln(2)+\ln |\mathbf {V} |}$

on ${\displaystyle \psi _{p}}$ és la funció digamma multivariada (la derivada del logaritme de la funció gamma multivariant).

Això té un paper important en les derivacions variacionals bayesianes per a xarxes de Bayes que involucren la distribució de Wishart.

Entropia

L'entropia d'informació de la distribució té la següent expressió:^[5]

${\displaystyle \operatorname {H} [\mathbf {X} ]=-\ln \left(B(\mathbf {V} ,n)\right)-{\frac {n-p-1}{2}}\operatorname {E} [\ln |\mathbf {X} |]+{\frac {np}{2}}}$

on B(V, n) és la constant de normalització de la distribució:

${\displaystyle B(\mathbf {V} ,n)={\frac {1}{\left|\mathbf {V} \right|^{\frac {n}{2}}2^{\frac {np}{2}}\Gamma _{p}({\frac {n}{2}})}}}$

Això es pot expandir com:

${\displaystyle {\begin{aligned}\operatorname {H} [\mathbf {X} ]&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+\ln \Gamma _{p}({\tfrac {n}{2}})-{\tfrac {n-p-1}{2}}\operatorname {E} [\ln |\mathbf {X} |]+{\tfrac {np}{2}}\\&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+\ln \Gamma _{p}({\tfrac {n}{2}})-{\tfrac {n-p-1}{2}}\left(\psi _{p}\left({\tfrac {n}{2}}\right)+p\ln(2)+\ln |\mathbf {V} |\right)+{\tfrac {np}{2}}\\&={\tfrac {n}{2}}\ln |\mathbf {V} |+{\tfrac {np}{2}}\ln(2)+\ln \Gamma _{p}({\tfrac {n}{2}})-{\tfrac {n-p-1}{2}}\psi _{p}\left({\tfrac {n}{2}}\right)-{\frac {n-p-1}{2}}\left(p\ln(2)+\ln |\mathbf {V} |\right)+{\tfrac {np}{2}}\\&={\tfrac {p+1}{2}}\ln |\mathbf {V} |+{\tfrac {1}{2}}p(p+1)\ln(2)+\ln \Gamma _{p}({\tfrac {n}{2}})-{\tfrac {n-p-1}{2}}\psi _{p}\left({\tfrac {n}{2}}\right)+{\tfrac {np}{2}}\end{aligned}}}$

Entropia creuada

L'entropia creuada de dues distribucions de Wishart amb els paràmetres p₀, n₀, V₀ i p₁, n₁, V₁ és:

${\displaystyle {\begin{aligned}H(p_{0},p_{1})&=\operatorname {E} _{p_{0}}[-\log p_{1}]\\&=\operatorname {E} _{p_{0}}\left[-\log {\frac {|\mathbf {X} |^{\frac {n_{1}-p-1}{2}}e^{-{\frac {\mathrm {tr} (\mathbf {V} _{1}^{-1}\mathbf {X} )}{2}}}}{2^{\frac {n_{1}p}{2}}|\mathbf {V} _{1}|^{\frac {n_{1}}{2}}\Gamma _{p}({\tfrac {n_{1}}{2}})}}\right]\\&={\tfrac {n_{1}p}{2}}\log 2+{\tfrac {n_{1}}{2}}\log |\mathbf {V} _{1}|+\log \Gamma _{p}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p-1}{2}}\operatorname {E} _{p_{0}}[\log |\mathbf {X} |]+{\tfrac {1}{2}}\operatorname {E} _{p_{0}}[\mathrm {tr} (\mathbf {V} _{1}^{-1}\mathbf {X} )]\\&={\tfrac {n_{1}p}{2}}\log 2+{\tfrac {n_{1}}{2}}\log |\mathbf {V} _{1}|+\log \Gamma _{p}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p-1}{2}}\left(\psi _{p}({\tfrac {n_{0}}{2}})+p\log 2+\log |\mathbf {V} _{0}|\right)+{\tfrac {1}{2}}\mathrm {tr} (\mathbf {V} _{1}^{-1}n_{0}\mathbf {V} _{0})\\&=-{\tfrac {n_{1}}{2}}\log |\mathbf {V} _{1}^{-1}\mathbf {V} _{0}|+{\tfrac {p+1}{2}}\log |\mathbf {V} _{0}|+{\tfrac {n_{0}}{2}}\mathrm {tr} (\mathbf {V} _{1}^{-1}\mathbf {V} _{0})+\log \Gamma _{p}({\tfrac {n_{1}}{2}})-{\tfrac {n_{1}-p-1}{2}}\psi _{p}({\tfrac {n_{0}}{2}})+{\tfrac {p(p+1)}{2}}\log 2\\\end{aligned}}}$

Que quan p₀ = p₁ equival a l'entropia.

Divergència K-L

La divergència de Kullback-Leibler de p₁ donat p₀ és

${\displaystyle D_{KL}(p_{0}\|p_{1})=H(p_{0},p_{1})-H(p_{0})=-{\tfrac {n_{1}}{2}}\log |\mathbf {V} _{1}^{-1}\mathbf {V} _{0}|+{\tfrac {n_{0}}{2}}(\mathrm {tr} (\mathbf {V} _{1}^{-1}\mathbf {V} _{0})-p)+\log {\frac {\Gamma _{p}({\tfrac {n_{1}}{2}})}{\Gamma _{p}({\tfrac {n_{0}}{2}})}}+{\tfrac {n_{0}-n_{1}}{2}}\psi _{p}({\tfrac {n_{0}}{2}})}$

Funció característica

La funció característica de la distribució de Wishart és

${\displaystyle \Theta \mapsto \left|{\mathbf {I} }-2i\,{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}.}$

En altres paraules:

${\displaystyle \Theta \mapsto \operatorname {E} \left[\mathrm {exp} \left(i\mathrm {tr} (\mathbf {X} {\mathbf {\Theta } })\right)\right]=\left|{\mathbf {I} }-2i{\mathbf {\Theta } }{\mathbf {V} }\right|^{-{\frac {n}{2}}}}$

on E[⋅] indica l'esperança matemàtica. (Aquí Θ i I són matrius de la mateixa mida que V (I és la matriu identitat), i i és l'arrel quadrada de -1).^[6]

Teorema

Si una matriu p × p aleatòria X té una distribució Wishart amb m graus de llibertat i la matriu de variància V – escrita com ${\displaystyle \mathbf {X} \sim {\mathcal {W}}_{p}({\mathbf {V} },m)}$ - i C és una matriu q × p de rang q, llavors,^[7]

${\displaystyle \mathbf {C} \mathbf {X} {\mathbf {C} }^{T}\sim {\mathcal {W}}_{q}\left({\mathbf {C} }{\mathbf {V} }{\mathbf {C} }^{T},m\right).}$

Corol·lari 1

Si z és un vector constant diferent de zero p × 1, llavors:^[7]

${\displaystyle {\mathbf {z} }^{T}\mathbf {X} {\mathbf {z} }\sim \sigma _{z}^{2}\chi _{m}^{2}.}$

En aquest cas, ${\displaystyle \chi _{m}^{2}}$ és la distribució de khi-quadrat i ${\displaystyle \sigma _{z}^{2}={\mathbf {z} }^{T}{\mathbf {V} }{\mathbf {z} }}$ (${\displaystyle \sigma _{z}^{2}}$ és una constant, és positiu perquè V és definida positiva).

Corol·lari 2

Considerem el cas en z^T = (0, ..., 0, 1, 0, ..., 0) (és a dir, l'element j-èsim és 1 i tots els altres zero). Llavors el corol·lari 1 mostra que:

${\displaystyle w_{jj}\sim \sigma _{jj}\chi _{m}^{2}}$

dona la distribució marginal de cada un dels elements de la matriu diagonal.

L' estadístic George Seber assenyala que la distribució de Wishart no es diu la "distribució chi quadrat multivariant" perquè la distribució marginal dels elements fora de la diagonal no és de chi-quadrat. Seber prefereix reservar el terme multivariant per al cas en què tots els distribucions marginals univariades pertanyen a la mateixa família.^[8]

Estimació de la distribució normal multivariada

La distribució Wishart és la distribució mostral de l'estimador de màxima versemblança (MLE) de la matriu de covariància d'una distribució normal multivariada.^[9] Una derivació de la MLE utilitza el teorema espectral.

Descomposició de Barlett

La descomposició de Bartlett d'una matriu X d'una distribució Wishart de p-variables amb matriu d'escala V i n graus de llibertat és la factorització:

${\displaystyle \mathbf {X} ={\textbf {L}}{\textbf {A}}{\textbf {A}}^{T}{\textbf {L}}^{T},}$

on L és el factor de Cholesky de V, i:

${\displaystyle \mathbf {A} ={\begin{pmatrix}c_{1}&0&0&\cdots &0\\n_{21}&c_{2}&0&\cdots &0\\n_{31}&n_{32}&c_{3}&\cdots &0\\\vdots &\vdots &\vdots &\ddots &\vdots \\n_{p1}&n_{p2}&n_{p3}&\cdots &c_{p}\end{pmatrix}}}$

on ${\displaystyle c_{i}^{2}\sim \chi _{n-i+1}^{2}}$ i n_ij ~ N(0, 1) de manera independent.^[10] Això proporciona un mètode útil per a l'obtenció de mostres a l'atzar d'una distribució de Wishart.^[11]

Distribució marginal dels elements de la matriu

Sigui V una matriu de variància 2 × 2 caracteritzada pel coeficient de correlació -1 < ρ < 1 i L el seu factor de Cholesky més petit:

${\displaystyle \mathbf {V} ={\begin{pmatrix}\sigma _{1}^{2}&\rho \sigma _{1}\sigma _{2}\\\rho \sigma _{1}\sigma _{2}&\sigma _{2}^{2}\end{pmatrix}},\qquad \mathbf {L} ={\begin{pmatrix}\sigma _{1}&0\\\rho \sigma _{2}&{\sqrt {1-\rho ^{2}}}\sigma _{2}\end{pmatrix}}}$

Multiplicant per l'anterior descomposició de Bartlett, trobem que una mostra aleatòria de la distribució de Wishart 2 × 2 és:

${\displaystyle \mathbf {X} ={\begin{pmatrix}\sigma _{1}^{2}c_{1}^{2}&\sigma _{1}\sigma _{2}\left(\rho c_{1}^{2}+{\sqrt {1-\rho ^{2}}}c_{1}n_{21}\right)\\\sigma _{1}\sigma _{2}\left(\rho c_{1}^{2}+{\sqrt {1-\rho ^{2}}}c_{1}n_{21}\right)&\sigma _{2}^{2}\left(\left(1-\rho ^{2}\right)c_{2}^{2}+\left({\sqrt {1-\rho ^{2}}}n_{21}+\rho c_{1}\right)^{2}\right)\end{pmatrix}}}$

Els elements de la diagonal, com és evident en el primer element, segueixen, com era d'esperar, la distribució χ2 amb n graus de llibertat (escalada per σ²). L'element de fora de la diagonal és menys familiar però pot ser identificat com una barreja normal de variància-mitja on la densitat de la mescla és una distribució χ2. Per tant, la corresponent densitat de probabilitat marginal per a l'element de fora de la diagonal és la distribució de variància-gamma

${\displaystyle f(x_{12})={\frac {\left|x_{12}\right|^{\frac {n-1}{2}}}{\Gamma \left({\frac {n}{2}}\right){\sqrt {2^{n-1}\pi \left(1-\rho ^{2}\right)\left(\sigma _{1}\sigma _{2}\right)^{n+1}}}}}\cdot K_{\frac {n-1}{2}}\left({\frac {\left|x_{12}\right|}{\sigma _{1}\sigma _{2}\left(1-\rho ^{2}\right)}}\right)\exp {\left({\frac {\rho x_{12}}{\sigma _{1}\sigma _{2}(1-\rho ^{2})}}\right)}}$

on K_ν(z) és la funció de Bessel modificada de segona classe.^[12] Resultats similars es poden trobar per les dimensions superiors, però la interdependència de les correlacions fora de la diagonal es fa cada vegada més complicada. També és possible escriure la funció generadora de moments fins i tot en el cas no central (essencialment l'enèsima potència de Craig^[13]) tot i que la densitat de probabilitat es converteix en una suma infinita de funcions de Bessel.

Possible rang del paràmetre de forma

Es pot demostrar^[14] que la distribució de Wishart es pot definir si, i només si, el paràmetre de forma n pertany al conjunt

${\displaystyle \Lambda _{p}:=\{0,\cdots ,p-1\}\cup \left(p-1,\infty \right).}$

Aquest conjunt porta el nom de conjunt de Gindikin, que va ser qui el va introduir en els anys setanta dins el context de les distribucions gamma sobre cons homogenis.^[15] No obstant això, per als nous paràmetres en l'espectre discret del conjunt Gindikin, és a dir:

${\displaystyle \Lambda _{p}^{*}:=\{0,\cdots ,p-1\},}$

la corresponent distribució Wishart no té la densitat de Lebesgue.

Relació amb altres distribucions

• La distribució de Wishart està relacionada amb la distribució Inversa de Wishart, ${\displaystyle W_{p}^{-1}}$, com segueix: Si X ~ W_p(V, n) i si fem el canvi de variables C = X⁻¹, llavors ${\displaystyle \mathbf {C} \sim W_{p}^{-1}(\mathbf {V} ^{-1},n)}$. Aquesta relació es pot derivar tenint present que el valor absolut del determinant jacobià d'aquest canvi de variable és |C|^p+1.^[16]
• En estadística bayesiana, la distribució Wishart és un conjugat previ per al paràmetre de precisió de la distribució normal multivariada quan el paràmetre mitja és conegut.^[5]
• Una generalització és la distribució gamma multivariant.
• Un tipus diferent de generalització és la distribució normal de Wishart, essencialment el producte d'una distribució normal multivariada i una distribució de Wishart.

Vegeu també

• Distribució khi quadrat
• Distribució F
• Distribució t de Student
• Distribució gamma
• Distribució T quadrada de Hotelling
• Distribució lambda de Wilks

Referències

1. Wishart, J «The generalised product moment distribution in samples from a normal multivariate population». Biometrika, 20A, (1 - 2), 1928, pàg. 32 - 52. DOI: 10.1093/biomet/20A.1-2.32. JSTOR: 2331939.
2. Gelman, A. Bayesian Data Analysis. Londres: Chapman & Hall, 2013. ISBN 158488388X. 
3. Zanella, A.; Chiani, M.; Win, M. Z «On the marginal distribution of the eigenvalues of Wishart matrices». IEEE Transactions on Communications, 57, (4), 2009, pàg. 1050 - 1060. DOI: 10.1109/TCOMM.2009.04.070143.
4. Uhlig, H «On Singular Wishart and Singular Multivariate Beta Distributions». The Annals of Statistics, 22, 1994, pàg. 395. DOI: 10.1214/aos/1176325375.
5. Bishop, C. M. Pattern Recognition and Machine Learning. New York (NY):: Springer-Verlag, 2006. ISBN 9780387310732. 
6. Anderson, T. W. An Introduction to Multivariate Statistical Analysis. 3ª Ed. Hoboken (NJ): Wiley-Interscience, 2003. ISBN 0-471-36091-0. 
7. Rao, C. R. Linear Statistical Inference and its Applications. Hoboken (NJ): Wiley, 1965. ISBN 0-471-21875-8. 
8. Seber, George A. F. Multivariate Observations. Hoboken (NJ): Wiley, 2004. ISBN 978-0471691211. 
9. Chatfield., C.; Collins, A. J. Introduction to Multivariate Analysis. Londres: Chapman and Hall, 1980. ISBN 0-412-16030-7. 
10. Anderson, T. W.. An Introduction to Multivariate Statistical Analysis. 3ª Ed. Hoboken (NJ): Wiley-Interscience, 2003. ISBN 0-471-36091-0. 
11. Smith, W. B.; Hocking, R. R «Algorithm AS 53: Wishart Variate Generator». Journal of the Royal Statistical Society, Series C, 21, (3), 1972, pàg. 341 - 345. JSTOR: 2346290.
12. Pearson, K.; Jeffery, G. B.; Elderton, E. M «On the Distribution of the First Product Moment-Coefficient, in Samples Drawn from an Indefinitely Large Normal Population». Biometrika, 21, 1929, pàg. 164 - 201. DOI: 10.2307/2332556. JSTOR: 2332556.
13. Craig, C. C «On the Frequency Function of xy». Ann. Math. Statist., 7, 1936, pàg. 1 - 15. DOI: 10.1214/aoms/1177732541.
14. Peddada and Richards, S. D; Richards, D «Proof of a Conjecture of M. L. Eaton on the Characteristic Function of the Wishart Distribution». Annals of Probability, 19, (2), 1991, pàg. 868 - 874. DOI: 10.1214/aop/1176990455.
15. Gindikin, S. G «Invariant generalized functions in homogeneous domains». Funct. Anal. Appl., 9, (1), 1975, pàg. 50 - 52. DOI: 10.1007/BF01078179.
16. Dwyer, P. S «Some Applications of Matrix Derivatives in Multivariate Analysis». J. Amer. Statist. Assoc, 62, (318), 1967, pàg. 607 - 625. JSTOR: 2283988.

Enllaços externs

• Zweng rmg (Random Matrix Generator) a Github Programari en C++ per a generar matrius aleatòries