Mínims quadrats ponderats

Mínims quadrats ponderats (WLS), també conegut com a regressió lineal ponderada,^[1][2] és una generalització dels mínims quadrats ordinaris i la regressió lineal en què el coneixement de la variància desigual de les observacions (heteroscedasticitat) s'incorpora a la regressió. WLS també és una especialització de mínims quadrats generalitzats, quan totes les entrades fora de la diagonal de la matriu de covariància dels errors, són nul·les.^[3]

Formulació

L'ajust d'un model a un punt de dades es mesura pel seu residu, ${\displaystyle r_{i}}$, definit com la diferència entre un valor mesurat de la variable dependent, ${\displaystyle y_{i}}$ i el valor previst pel model, ${\displaystyle f(x_{i},{\boldsymbol {\beta }})}$: ^[4]$${\displaystyle r_{i}({\boldsymbol {\beta }})=y_{i}-f(x_{i},{\boldsymbol {\beta }}).}$$Si els errors no estan correlacionats i tenen la mateixa variància, llavors la funció$${\displaystyle S({\boldsymbol {\beta }})=\sum _{i}r_{i}({\boldsymbol {\beta }})^{2},}$$es minimitza a ${\displaystyle {\boldsymbol {\hat {\beta }}}}$, de tal manera que ${\displaystyle {\frac {\partial S}{\partial \beta _{j}}}({\hat {\boldsymbol {\beta }}})=0}$.

El teorema de Gauss-Markov mostra que, quan això és així, ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ és el millor estimador lineal no esbiaixat (BLAU). Tanmateix, si les mesures no estan correlacionades però tenen incerteses diferents, es podria adoptar un enfocament modificat. Aitken va demostrar que quan es minimitza una suma ponderada de residus al quadrat, ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ és el BLAU si cada pes és igual al recíproc de la variància de la mesura$${\displaystyle {\begin{aligned}S&=\sum _{i=1}^{n}W_{ii}{r_{i}}^{2},&W_{ii}&={\frac {1}{{\sigma _{i}}^{2}}}\end{aligned}}}$$Les equacions de gradient per a aquesta suma de quadrats són

$${\displaystyle -2\sum _{i}W_{ii}{\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}r_{i}=0,\quad j=1,\ldots ,m}$$que, en un sistema lineal de mínims quadrats, donen les equacions normals modificades,$${\displaystyle \sum _{i=1}^{n}\sum _{k=1}^{m}X_{ij}W_{ii}X_{ik}{\hat {\beta }}_{k}=\sum _{i=1}^{n}X_{ij}W_{ii}y_{i},\quad j=1,\ldots ,m\,.}$$Quan els errors d'observació no estan correlacionats i la matriu de pes, W = Ω ⁻¹, és diagonal, aquests es poden escriure com

$${\displaystyle \mathbf {\left(X^{\textsf {T}}WX\right){\hat {\boldsymbol {\beta }}}=X^{\textsf {T}}Wy} .}$$

Referències

1. «Weighted regression» (en anglès). Arxivat de l'original el 2022-04-21. [Consulta: 1r octubre 2023].
2. «Visualize a weighted regression» (en anglès).
3. «13.1 - Weighted Least Squares | STAT 501» (en anglès). [Consulta: 1r octubre 2023].
4. «[https://www.stat.cmu.edu/~cshalizi/mreg/15/lectures/24/lecture-24--25.pdf Lecture 24–25: Weighted and Generalized Least Squares]» (en anglès). https://www.stat.cmu.edu.+[Consulta: 1r octubre 2023].