Μέθοδος ελαχίστων τετραγώνων

Ο νόμος του Όκουν^[1] στη μακροοικονομία ορίζει ότι σε μια οικονομία η αύξηση του ΑΕΠ θα πρέπει να εξαρτάται γραμμικά από τις μεταβολές του ποσοστού ανεργίας. Εδώ χρησιμοποιείται η μέθοδος των ελαχίστων τετραγώνων για την κατασκευή της γραμμής παλινδρόμησης που περιγράφει αυτόν τον νόμο.

Στη στατιστική, η μέθοδος ελαχίστων τετραγώνων (OLS) είναι ένας τύπος γραμμικής μεθόδου ελαχίστων τετραγώνων για την επιλογή των άγνωστων παραμέτρων σε ένα μοντέλο γραμμικής παλινδρόμησης (με σταθερές επιδράσεις επιπέδου ένα μιας γραμμικής συνάρτησης ενός συνόλου επεξηγηματικών μεταβλητών) με βάση την αρχή των ελαχίστων τετραγώνων: ελαχιστοποίηση του αθροίσματος των τετραγώνων των διαφορών μεταξύ της παρατηρούμενης εξαρτημένης μεταβλητής (τιμές της παρατηρούμενης μεταβλητής) στο σύνολο δεδομένων εισόδου και της εξόδου της (γραμμικής) συνάρτησης της ανεξάρτητης μεταβλητής^[2]. Ορισμένες πηγές θεωρούν ότι η OLS είναι γραμμική παλινδρόμηση^[3].

Γεωμετρικά, αυτό θεωρείται ως το άθροισμα των τετραγώνων των αποστάσεων, παράλληλων προς τον άξονα της εξαρτημένης μεταβλητής, μεταξύ κάθε σημείου δεδομένων στο σύνολο και του αντίστοιχου σημείου στην επιφάνεια παλινδρόμησης - όσο μικρότερες είναι οι διαφορές, τόσο καλύτερα προσαρμόζεται το μοντέλο στα δεδομένα. Ο εκτιμητής που προκύπτει μπορεί να εκφραστεί με έναν απλό τύπο, ιδίως στην περίπτωση μιας απλής γραμμικής παλινδρόμησης, στην οποία υπάρχει ένας μια παλινδρομούσα μεταβλητή^[4] στη δεξιά πλευρά της εξίσωσης παλινδρόμησης.

Ο εκτιμητής OLS είναι συνεπής για τις σταθερές επιδράσεις επιπέδου ένα όταν οι παλινδρομούσες μεταβλητές είναι εξωγενείς και σχηματίζουν τέλεια συνδιακύμανση (συνθήκη κατάταξης), συνεπής για την εκτίμηση της διακύμανσης των καταλοίπων όταν οι παλινδρομούσες μεταβλητές έχουν πεπερασμένες τέταρτες ροπές^[5] και -σύμφωνα με το θεώρημα Γκάους-Μάρκοφ- βέλτιστος στην κατηγορία των γραμμικών αμερόληπτων εκτιμητών όταν τα σφάλματα είναι ομοσκεδαστικά και σειριακά ασυσχέτιστα. Υπό αυτές τις συνθήκες, η μέθοδος OLS παρέχει εκτίμηση ελάχιστης διακύμανσης με μέση αμερόληπτη εκτίμηση όταν τα σφάλματα έχουν πεπερασμένες διακυμάνσεις. Υπό την πρόσθετη υπόθεση ότι τα σφάλματα κατανέμονται κανονικά με μηδενική μέση τιμή, η OLS είναι ο εκτιμητής μέγιστης πιθανοφάνειας που υπερτερεί έναντι οποιουδήποτε μη γραμμικού αμερόληπτου εκτιμητή.

Γραμμικό πρότυπο

Κύριο άρθρο: γραμμική παλινδρόμηση

Ας υποθέσουμε ότι τα δεδομένα αποτελούνται από ${\displaystyle n}$ παρατηρήσεις ${\displaystyle \left\{\mathbf {x} _{i},y_{i}\right\}_{i=1}^{n}}$. Κάθε παρατήρηση ${\displaystyle i}$ περιλαμβάνει μια κλιμακωτή απόκριση ${\displaystyle y_{i}}$ και ένα διάνυσμα στήλης ${\displaystyle \mathbf {x} _{i}}$ από ${\displaystyle p}$ παραμέτρους (παλινδρομούσες μεταβλητές^[4]), δηλ, ${\displaystyle \mathbf {x} _{i}=\left[x_{i1},x_{i2},\dots ,x_{ip}\right]^{\operatorname {T} }}$. Σε ένα μοντέλο γραμμικής παλινδρόμησης, η μεταβλητή απόκρισης, ${\displaystyle y_{i}}$, είναι μια γραμμική συνάρτηση από παλινδρομούσες μεταβλητές^[4]:

${\displaystyle y_{i}=\beta _{1}\ x_{i1}+\beta _{2}\ x_{i2}+\cdots +\beta _{p}\ x_{ip}+\varepsilon _{i},}$

ή σε διανυσματική μορφή,: ${\displaystyle y_{i}=\mathbf {x} _{i}^{\operatorname {T} }{\boldsymbol {\beta }}+\varepsilon _{i},\,}$ όπου ${\displaystyle \mathbf {x} _{i}}$, όπως εισήχθη προηγουμένως, είναι ένα διάνυσμα στήλης του ${\displaystyle i}$-th διάνυσμα άγνωστων παραμέτρων- και το βαθμωτό ${\displaystyle \varepsilon _{i}}$ αντιπροσωπεύει μη παρατηρούμενες τυχαίες μεταβλητές (σφάλματα) της ${\displaystyle i}$-th παρατήρησης. ${\displaystyle \varepsilon _{i}}$ υπολογίζει τις επιδράσεις στις αποκρίσεις ${\displaystyle y_{i}}$ από πηγές άλλες από τις επεξηγηματικές μεταβλητές ${\displaystyle \mathbf {x} _{i}}$. Αυτό το μοντέλο μπορεί επίσης να γραφεί σε συμβολισμό πινάκων ως εξής

${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }},\,}$

όπου ${\displaystyle \mathbf {y} }$ και ${\displaystyle {\boldsymbol {\varepsilon }}}$ είναι ${\displaystyle n\times 1}$ διανύσματα των μεταβλητών απόκρισης και των σφαλμάτων των ${\displaystyle n}$ παρατηρήσεων, και ${\displaystyle \mathbf {X} }$ είναι ένας ${\displaystyle n\times p}$ πίνακας από παλινδρομούσες μεταβλητές (regressors), που μερικές φορές ονομάζεται επίσης πίνακας σχεδιασμού, του οποίου η γραμμή ${\displaystyle i}$ είναι ${\displaystyle \mathbf {x} _{i}^{\operatorname {T} }}$ και περιέχει την ${\displaystyle i}$-th παρατήρηση για όλες τις επεξηγηματικές μεταβλητές.

Συνήθως, ένας σταθερός όρος περιλαμβάνεται στο σύνολο των παλινδρομητών ${\displaystyle \mathbf {X} }$, π.χ., λαμβάνοντας ${\displaystyle x_{i1}=1}$ για όλα τα ${\displaystyle i=1,\dots ,n}$. Ο συντελεστής ${\displaystyle \beta _{1}}$ που αντιστοιχεί σε αυτόν τον παλινδρομητή ονομάζεται intercept. Χωρίς την τομή, η προσαρμοσμένη γραμμή αναγκάζεται να διασχίσει την αρχή όταν ${\displaystyle x_{i}={\vec {0}}}$.

Οι παλινδρομούσες μεταβλητές δεν είναι απαραίτητο να είναι ανεξάρτητες για να είναι συνεπής η εκτίμηση, π.χ. μπορεί να είναι μη γραμμικά εξαρτημένες. Ωστόσο, καθώς η πολυσυγγραμμικότητα αυξάνεται, το τυπικό σφάλμα γύρω από τις εκτιμήσεις αυτές αυξάνεται και μειώνει την ακρίβεια των εκτιμήσεων αυτών. Όταν υπάρχει τέλεια πολυσυγγραμμικότητα, δεν είναι πλέον δυνατόν να ληφθούν μοναδικές εκτιμήσεις για τους συντελεστές από τις σχετικές παλινδρομούσες μεταβλητές - η εκτίμηση για αυτές τις παραμέτρους δεν μπορεί να συγκλίνει (επομένως, δεν μπορεί να είναι συνεπής).

Ως ένα συγκεκριμένο παράδειγμα όπου οι παλινδρομούσες μεταβλητές δεν εξαρτώνται γραμμικά, αλλά η εκτίμηση μπορεί να εξακολουθεί να είναι συνεπής, θα μπορούσαμε να υποπτευθούμε ότι η απόκριση εξαρτάται γραμμικά τόσο από μια τιμή όσο και από το τετράγωνό της- στην περίπτωση αυτή θα συμπεριλάβαμε μια παλινδρομούσα μεταβλητή της οποίας η τιμή είναι απλώς το τετράγωνο μιας άλλης παλινδρομικής μεταβλητής. Σε αυτή την περίπτωση, το μοντέλο θα ήταν τετραγωνικό στη δεύτερη παλινδρομούσα , αλλά παρ' όλα αυτά εξακολουθεί να θεωρείται γραμμικό μοντέλο, επειδή το μοντέλο είναι ακόμα γραμμικό στις παραμέτρους (${\displaystyle {\boldsymbol {\beta }}}$).

Διατύπωση πινάκων/διανυσμάτων

${\displaystyle \sum _{j=1}^{p}x_{ij}\beta _{j}=y_{i},\ (i=1,2,\dots ,n),}$

των ${\displaystyle n}$ γραμμικών εξισώσεων με ${\displaystyle p}$ άγνωστους συντελεστές, ${\displaystyle \beta _{1},\beta _{2},\dots ,\beta _{p}}$, με ${\displaystyle n>p}$. Αυτό μπορεί να γραφεί σε μορφή πίνακα ως εξής

όπου

${\displaystyle \mathbf {X} ={\begin{bmatrix}X_{11}&X_{12}&\cdots &X_{1p}\\X_{21}&X_{22}&\cdots &X_{2p}\\\vdots &\vdots &\ddots &\vdots \\X_{n1}&X_{n2}&\cdots &X_{np}\end{bmatrix}},\qquad {\boldsymbol {\beta }}={\begin{bmatrix}\beta _{1}\\\beta _{2}\\\vdots \\\beta _{p}\end{bmatrix}},\qquad \mathbf {y} ={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}.}$

(Σημείωση: για ένα γραμμικό μοντέλο όπως το παραπάνω, δεν περιέχουν όλα τα στοιχεία του ${\displaystyle \mathbf {X} }$ πληροφορίες σχετικά με τα σημεία δεδομένων. Η πρώτη στήλη συμπληρώνεται με μονάδες, ${\displaystyle X_{i1}=1}$. Μόνο οι άλλες στήλες περιέχουν πραγματικά δεδομένα. Έτσι εδώ το ${\displaystyle p}$ είναι ίσο με τον αριθμό από τις παλινδρομούσες συν ένα).

Ένα τέτοιο σύστημα συνήθως δεν έχει ακριβή λύση, οπότε ο στόχος είναι να βρεθούν οι συντελεστές ${\displaystyle {\boldsymbol {\beta }}}$ που ταιριάζουν στις εξισώσεις «καλύτερα», με την έννοια της επίλυσης του προβλήματος τετραγωνικής ελαχιστοποίησης.

${\displaystyle {\hat {\boldsymbol {\beta }}}={\underset {\boldsymbol {\beta }}{\operatorname {arg\,min} }}\,S({\boldsymbol {\beta }}),}$

όπου η αντικειμενική συνάρτηση ${\displaystyle S}$ δίνεται από τη σχέση

${\displaystyle S({\boldsymbol {\beta }})=\sum _{i=1}^{n}\left|y_{i}-\sum _{j=1}^{p}X_{ij}\beta _{j}\right|^{2}=\left\|\mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\right\|^{2}.}$

Μια αιτιολόγηση για την επιλογή αυτού του κριτηρίου δίνεται στις Ιδιότητες παρακάτω. Αυτό το πρόβλημα ελαχιστοποίησης έχει μοναδική λύση, υπό την προϋπόθεση ότι οι στήλες ${\displaystyle p}$ του πίνακα ${\displaystyle \mathbf {X} }$ είναι γραμμικά ανεξάρτητες, που δίνεται από την επίλυση των λεγόμενων κανονικών εξισώσεων:

${\displaystyle \left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right){\hat {\boldsymbol {\beta }}}=\mathbf {X} ^{\operatorname {T} }\mathbf {y} \ .}$

Ο πίνακας ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {X} }$ είναι γνωστός ως κανονικός πίνακας ή πίνακας Gram και ο πίνακας ${\displaystyle \mathbf {X} ^{\operatorname {T} }\mathbf {y} }$ είναι γνωστός ως πίνακας ροπής της παλινδρόμησης από τις παλινδρομούσες μεταβλητές.^[6] Τέλος, ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ είναι το διάνυσμα του συντελεστή του υπερεπιπέδου ελαχίστων τετραγώνων, που εκφράζεται ως εξής

${\displaystyle {\hat {\boldsymbol {\beta }}}=\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}\mathbf {X} ^{\operatorname {T} }\mathbf {y} .}$

ή

${\displaystyle {\hat {\boldsymbol {\beta }}}={\boldsymbol {\beta }}+\left(\mathbf {X} ^{\operatorname {T} }\mathbf {X} \right)^{-1}\mathbf {X} ^{\operatorname {T} }{\boldsymbol {\varepsilon }}.}$

Εκτίμηση

Ας υποθέσουμε ότι το bείναι μια «υποψήφια» τιμή για το διάνυσμα παραμέτρων β. Η ποσότητα y_i − x_i^Tb η οποία καλείται υπόλειμμα για την i-th παρατήρηση, μετρά την κάθετη απόσταση μεταξύ του σημείου δεδομένων (x_i, y_i) και του υπερεπιπέδου y = x^Tb και συνεπώς αξιολογεί το βαθμό προσαρμογής μεταξύ των πραγματικών δεδομένων και του μοντέλου. Το άθροισμα των τετραγωνικών καταλοίπων (SSR) (που ονομάζεται επίσης άθροισμα τετραγώνων σφάλματος (ESS) ή άθροισμα τετραγώνων καταλοίπων (RSS))^[7] είναι ένα μέτρο της συνολικής προσαρμογής του μοντέλου:

${\displaystyle S(b)=\sum _{i=1}^{n}(y_{i}-x_{i}^{\operatorname {T} }b)^{2}=(y-Xb)^{\operatorname {T} }(y-Xb),}$

όπου Τ δηλώνει τον ανάστροφο πίνακα και οι γραμμές του Χ, που δηλώνουν τις τιμές όλων των ανεξάρτητων μεταβλητών που συνδέονται με μια συγκεκριμένη τιμή της εξαρτημένης μεταβλητής, είναι X_i = x_i^T. Η τιμή του β που ελαχιστοποιεί αυτό το άθροισμα ονομάζεται εκτιμητής OLS για το β. Η συνάρτηση S(b) είναι τετραγωνική ως προς το β με θετικά πεπερασμένη Εσσιανή, και επομένως η συνάρτηση αυτή διαθέτει ένα μοναδικό παγκόσμιο ελάχιστο στο ${\displaystyle b={\hat {\beta }}}$ το οποίο μπορεί να δοθεί από τον ρητό τύπο^[8]

${\displaystyle {\hat {\beta }}=\operatorname {argmin} _{b\in \mathbb {R} ^{p}}S(b)=(X^{\operatorname {T} }X)^{-1}X^{\operatorname {T} }y\ .}$

Το γινόμενο N = X^T X είναι ένας πίνακας Gram και ο αντίστροφός του, Q = N⁻¹ είναι ο πίνακας των συμπαραγόντων του β,^[9][10][11]που σχετίζεται στενά με τον πίνακα συνδιακύμανσης, C_β. Ο πίνακας (X^T X)⁻¹ X^T = Q X^T ονομάζεται ψευδοαντίστροφος πίνακας Moore-Penrose του X. Αυτή η διατύπωση υπογραμμίζει το σημείο ότι η εκτίμηση μπορεί να πραγματοποιηθεί εάν, και μόνο εάν, δεν υπάρχει τέλεια πολυσυγγραμμικότητα μεταξύ των επεξηγηματικών μεταβλητών (η οποία θα προκαλούσε ο πίνακας Γκραμ να μην έχει αντίστροφο).

Πρόβλεψη

Αφού έχουμε εκτιμήσει το β, οι προσαρμοσμένες τιμές (ή προβλεπόμενες τιμές) από την παλινδρόμηση θα είναι

${\displaystyle {\hat {y}}=X{\hat {\beta }}=Py,}$

όπου P = X(X^TX)⁻¹X^T είναι ο πίνακας προβολής στον χώρο V που καλύπτεται από τις στήλες του X. Αυτός ο πίνακας P ονομάζεται επίσης μερικές φορές πίνακας καπέλου επειδή «βάζει ένα καπέλο» στη μεταβλητή y. Ένας άλλος πίνακας, στενά συνδεδεμένος με τον P είναι ο πίνακας annihilator M = I_n − P αυτός είναι ένας πίνακας προβολής στον χώρο που είναι ορθογώνιος στον V. Και οι δύο πίνακες P και M είναι συμμετρικοί και ιδιοσυστατικοί (δηλαδή P² = P και M² = M) και σχετίζονται με τον πίνακα δεδομένων X μέσω των ταυτοτήτων PX = X και MX = 0.^[12] πίνακας M δημιουργεί τα κατάλοιπα της παλινδρόμησης:

${\displaystyle {\hat {\varepsilon }}=y-{\hat {y}}=y-X{\hat {\beta }}=My=M(X\beta +\varepsilon )=(MX)\beta +M\varepsilon =M\varepsilon .}$

Οι αποκλίσεις των προβλεπόμενων τιμών ${\displaystyle s_{{\hat {y}}_{i}}^{2}}$ βρίσκονται στην κύρια διαγώνιο της μήτρας διακύμανσης-συνδιακύμανσης των προβλεπόμενων τιμών:

${\displaystyle C_{\hat {y}}=s^{2}P,}$

όπου P είναι ο πίνακας προβολής και s² είναι η δειγματική διακύμανση.^[13] Ο πλήρης πίνακας είναι πολύ μεγάλος- τα διαγώνια στοιχεία του μπορούν να υπολογιστούν μεμονωμένα ως εξής:

${\displaystyle s_{{\hat {y}}_{i}}^{2}=s^{2}X_{i}(X^{T}X)^{-1}X_{i}^{T},}$

όπου X_i είναι η i-th γραμμή του πίνακα X.

Στατιστικά παραδείγματα

Χρησιμοποιώντας αυτά τα κατάλοιπα μπορούμε να εκτιμήσουμε τη δειγματική διακύμανση s² χρησιμοποιώντας το στατιστικό μειωμένο χι-τετράγωνο:

${\displaystyle s^{2}={\frac {{\hat {\varepsilon }}^{\mathrm {T} }{\hat {\varepsilon }}}{n-p}}={\frac {(My)^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }M^{\mathrm {T} }My}{n-p}}={\frac {y^{\mathrm {T} }My}{n-p}}={\frac {S({\hat {\beta }})}{n-p}},\qquad {\hat {\sigma }}^{2}={\frac {n-p}{n}}\;s^{2}}$

Ο παρονομαστής, n−p είναι οι στατιστικοί βαθμοί ελευθερίας. Η πρώτη ποσότητα, s² είναι η εκτίμηση OLS για το σ², ενώ η δεύτερη, ${\displaystyle \scriptstyle {\hat {\sigma }}^{2}}$ είναι η εκτίμηση MLE για το σ². Οι δύο εκτιμητές είναι αρκετά παρόμοιοι σε μεγάλα δείγματα- ο πρώτος εκτιμητής είναι πάντα αμερόληπτος, ενώ ο δεύτερος εκτιμητής είναι μεροληπτικός αλλά έχει μικρότερο μέσο τετραγωνικό σφάλμα. Στην πράξη ο s² χρησιμοποιείται συχνότερα, καθώς είναι πιο βολικός για τον έλεγχο υποθέσεων. Η τετραγωνική ρίζα του s² ονομάζεται τυπικό σφάλμα παλινδρόμησης,^[14] τυπικό σφάλμα της παλινδρόμησης,^[15][16] ή τυπικό σφάλμα της εξίσωσης^[12].

Είναι σύνηθες να αξιολογείται η καλή προσαρμογή της παλινδρόμησης OLS συγκρίνοντας πόσο μπορεί να μειωθεί η αρχική διακύμανση του δείγματος με την παλινδρόμηση στο Χ. Ο συντελεστής προσδιορισμού R² ορίζεται ως ο λόγος της «εξηγούμενης» διακύμανσης προς τη «συνολική» διακύμανση της εξαρτημένης μεταβλητής y, στις περιπτώσεις όπου το άθροισμα των τετραγώνων της παλινδρόμησης ισούται με το άθροισμα των τετραγώνων των υπολοίπων:^[17]

${\displaystyle R^{2}={\frac {\sum ({\hat {y}}_{i}-{\overline {y}})^{2}}{\sum (y_{i}-{\overline {y}})^{2}}}={\frac {y^{\mathrm {T} }P^{\mathrm {T} }LPy}{y^{\mathrm {T} }Ly}}=1-{\frac {y^{\mathrm {T} }My}{y^{\mathrm {T} }Ly}}=1-{\frac {\rm {RSS}}{\rm {TSS}}}}$

όπου TSS είναι το συνολικό άθροισμα τετραγώνων για την εξαρτημένη μεταβλητή, ${\textstyle L=I_{n}-{\frac {1}{n}}J_{n}}$ και ${\textstyle J_{n}}$ είναι ένας n×n πίνακας μονάδων. (${\displaystyle L}$ είναι ένας πίνακας κεντραρίσματος που ισοδυναμεί με παλινδρόμηση σε μια σταθερά- απλά αφαιρεί τον μέσο όρο από μια μεταβλητή). Προκειμένου το R² να έχει νόημα, ο πίνακας X των δεδομένων για τις παλινδρομούσες μεταβλητές πρέπει να περιέχει ένα διάνυσμα στήλης από μονάδες για την αναπαράσταση της σταθεράς της οποίας ο συντελεστής είναι η τομή παλινδρόμησης. Σε αυτή την περίπτωση, το R² θα είναι πάντα ένας αριθμός μεταξύ 0 και 1, με τιμές κοντά στο 1 που υποδηλώνουν καλό βαθμό προσαρμογής.

Μοντέλο απλής γραμμικής παλινδρόμησης

Κύριο άρθρο: Απλή γραμμική παλινδρόμηση

Εάν ο πίνακας δεδομένων X περιέχει μόνο δύο μεταβλητές, μια σταθερά και έναν κλιμακωτό παλινδρομητή x_i τότε αυτό ονομάζεται «απλό μοντέλο παλινδρόμησης». Αυτή η περίπτωση εξετάζεται συχνά στα μαθήματα στατιστικής για αρχάριους, καθώς παρέχει πολύ απλούστερους τύπους, κατάλληλους ακόμη και για χειροκίνητο υπολογισμό. Οι παράμετροι συμβολίζονται συνήθως ως (α, β):

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

Οι εκτιμήσεις των ελαχίστων τετραγώνων στην περίπτωση αυτή δίνονται από απλούς τύπους

${\displaystyle {\begin{aligned}{\widehat {\beta }}&={\frac {\sum _{i=1}^{n}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}{\sum _{i=1}^{n}{(x_{i}-{\bar {x}})^{2}}}}\\[2pt]{\widehat {\alpha }}&={\bar {y}}-{\widehat {\beta }}\,{\bar {x}}\ ,\end{aligned}}}$

Προβολή

Η εκτίμηση OLS μπορεί να θεωρηθεί ως προβολή στο γραμμικό χώρο που καλύπτεται από τις παλινδρομούσες μεταβλητές^[4]. (Εδώ κάθε X1 και  X2 αναφέρεται σε μια στήλη του πίνακα δεδομένων).

Για τους μαθηματικούς, η OLS είναι μια προσεγγιστική λύση σε ένα υπερκαθορισμένο σύστημα γραμμικών εξισώσεων Xβ ≈ y, όπου β είναι ο άγνωστος. Υποθέτοντας ότι το σύστημα δεν μπορεί να επιλυθεί ακριβώς (ο αριθμός των εξισώσεων n είναι πολύ μεγαλύτερος από τον αριθμό των αγνώστων p), αναζητούμε μια λύση που θα μπορούσε να παρέχει τη μικρότερη δυνατή απόκλιση μεταξύ της δεξιάς και της αριστερής πλευράς. Με άλλα λόγια, αναζητάμε τη λύση που ικανοποιεί

${\displaystyle {\hat {\beta }}={\rm {arg}}\min _{\beta }\,\lVert \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}\rVert ,}$

όπου ‖·‖ είναι η τυπική νόρμα L² στον n-διάστατο ευκλείδειο χώρο Rⁿ. Η προβλεπόμενη ποσότητα y − Xβ είναι απλώς ένας ορισμένος γραμμικός συνδυασμός διανυσμάτων από παλινδρομούσες μεταβλητές. Έτσι, το υπολειμματικό διάνυσμα y − Xβ θα έχει το μικρότερο μήκος όταν το y προβάλλεται ορθογώνια στον γραμμικό υποχώρο που καλύπτεται από τις στήλες του X. Ο εκτιμητής OLS ${\displaystyle {\hat {\beta }}}$ σε αυτή την περίπτωση μπορεί να ερμηνευτεί ως οι συντελεστές της διανυσματικής αποσύνθεσης του ^y = Py κατά μήκος της βάσης του X.

Με άλλα λόγια, οι εξισώσεις κλίσης στο ελάχιστο μπορούν να γραφούν ως εξής:

${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})^{\top }\mathbf {X} =0.}$

Μια γεωμετρική ερμηνεία αυτών των εξισώσεων είναι ότι το διάνυσμα των υπολοίπων, ${\displaystyle \mathbf {y} -X{\hat {\boldsymbol {\beta }}}}$ είναι ορθογώνιο στο χώρο των στηλών του X, αφού το εσωτερικό γινόμενο ${\displaystyle (\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}})\cdot \mathbf {X} \mathbf {v} }$ είναι ίσο με μηδέν για κάθε σύμμορφο διάνυσμα, v. Αυτό σημαίνει ότι ${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}}}$ είναι το συντομότερο από όλα τα πιθανά διανύσματα ${\displaystyle \mathbf {y} -\mathbf {X} {\boldsymbol {\beta }}}$ δηλαδή η διακύμανση των υπολοίπων είναι η ελάχιστη δυνατή. Αυτό απεικονίζεται στα δεξιά.

Εισάγοντας ${\displaystyle {\hat {\boldsymbol {\gamma }}}}$ και έναν πίνακα K με την παραδοχή ότι ένας πίνακας ${\displaystyle [\mathbf {X} \ \ \mathbf {K} ]}$ είναι μη ιδιάζων και K^T X = 0 (βλ. Ορθογώνιες προβολές), το διάνυσμα υπολοίπου θα πρέπει να ικανοποιεί την ακόλουθη εξίσωση:

${\displaystyle {\hat {\mathbf {r} }}:=\mathbf {y} -\mathbf {X} {\hat {\boldsymbol {\beta }}}=\mathbf {K} {\hat {\boldsymbol {\gamma }}}.}$

Η εξίσωση και η λύση των γραμμικών ελαχίστων τετραγώνων περιγράφονται ως εξής:

${\displaystyle {\begin{aligned}\mathbf {y} &={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}{\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}},\\{}\Rightarrow {\begin{bmatrix}{\hat {\boldsymbol {\beta }}}\\{\hat {\boldsymbol {\gamma }}}\end{bmatrix}}&={\begin{bmatrix}\mathbf {X} &\mathbf {K} \end{bmatrix}}^{-1}\mathbf {y} ={\begin{bmatrix}\left(\mathbf {X} ^{\top }\mathbf {X} \right)^{-1}\mathbf {X} ^{\top }\\\left(\mathbf {K} ^{\top }\mathbf {K} \right)^{-1}\mathbf {K} ^{\top }\end{bmatrix}}\mathbf {y} .\end{aligned}}}$

Ένας άλλος τρόπος να το δούμε είναι να θεωρήσουμε ότι η γραμμή παλινδρόμησης είναι ένας σταθμισμένος μέσος όρος των γραμμών που διέρχονται από το συνδυασμό δύο οποιωνδήποτε σημείων στο σύνολο δεδομένων.^[18] Αν και αυτός ο τρόπος υπολογισμού είναι πιο δαπανηρός υπολογιστικά, παρέχει μια καλύτερη διαίσθηση για την OLS.

Μέγιστη πιθανότητα

Ο εκτιμητής OLS είναι πανομοιότυπος με τον εκτιμητή μέγιστης πιθανοφάνειας (MLE) υπό την υπόθεση της κανονικότητας για τους όρους σφάλματος.^[19] Αυτή η υπόθεση κανονικότητας έχει ιστορική σημασία, καθώς αποτέλεσε τη βάση για τις πρώτες εργασίες στην ανάλυση γραμμικής παλινδρόμησης από τους Γιουλ και Πίρσον. Από τις ιδιότητες της MLE, μπορούμε να συμπεράνουμε ότι ο εκτιμητής OLS είναι ασυμπτωτικά αποτελεσματικός (με την έννοια της επίτευξης του ορίου Κραμέρ-Ράο για τη διακύμανση) εάν ικανοποιείται η υπόθεση κανονικότητας^[20].

Γενικευμένη μέθοδος των ροπών

Στην περίπτωση iid ο εκτιμητής OLS μπορεί επίσης να θεωρηθεί ως εκτιμητής GMM που προκύπτει από τις συνθήκες ροπής

${\displaystyle \mathrm {E} {\big [}\,x_{i}\left(y_{i}-x_{i}^{\operatorname {T} }\beta \right)\,{\big ]}=0.}$

Αυτές οι συνθήκες στιγμής δηλώνουν ότι οι παλινδρομούσες μεταβλητές^[4] πρέπει να είναι ασυσχέτιστες με τα σφάλματα. Δεδομένου ότι το x_i είναι ένα p-διάνυσμα, ο αριθμός των συνθηκών στιγμής είναι ίσος με τη διάσταση του διανύσματος παραμέτρων β, και έτσι το σύστημα ταυτοποιείται επακριβώς. Αυτή είναι η λεγόμενη κλασική περίπτωση GMM, όταν ο εκτιμητής δεν εξαρτάται από την επιλογή του πίνακα στάθμισης.

Ας σημειωθεί ότι η αρχική υπόθεση αυστηρής εξωγένειας E[ε_i | x_i] = 0 συνεπάγεται ένα πολύ πιο πλούσιο σύνολο συνθηκών στιγμής από ό,τι αναφέρεται παραπάνω. Ειδικότερα, η υπόθεση αυτή συνεπάγεται ότι για οποιαδήποτε διανυσματική συνάρτηση ƒ, θα ισχύει η συνθήκη στιγμής E[ƒ(x_i)·ε_i] = 0. Ωστόσο, μπορεί να αποδειχθεί χρησιμοποιώντας το θεώρημα Γκάους-Μάρκοφ ότι η βέλτιστη επιλογή της συνάρτησης ƒ είναι να ληφθεί ƒ is to take ƒ(x) = x, γεγονός που οδηγεί στην εξίσωση ροπής που αναρτήθηκε παραπάνω.

Ιδιότητες

Παραδοχές

Δείτε επίσης: Παραδοχές

Υπάρχουν πολλά διαφορετικά πλαίσια στα οποία μπορεί να ενταχθεί το μοντέλο γραμμικής παλινδρόμησης, ώστε να είναι εφαρμόσιμη η τεχνική OLS. Κάθε ένα από αυτά τα πλαίσια παράγει τους ίδιους τύπους και τα ίδια αποτελέσματα. Η μόνη διαφορά είναι η ερμηνεία και οι υποθέσεις που πρέπει να επιβληθούν προκειμένου η μέθοδος να δώσει ουσιαστικά αποτελέσματα. Η επιλογή του εφαρμοστέου πλαισίου εξαρτάται κυρίως από τη φύση των δεδομένων που έχουμε στη διάθεσή μας και από την εργασία εξαγωγής συμπερασμάτων που πρέπει να εκτελεστεί.

Μία από τις γραμμές διαφοράς στην ερμηνεία είναι αν οι παλινδρομούσες μεταβλητές αντιμετωπίζονται ως τυχαίες μεταβλητές ή ως προκαθορισμένες σταθερές. Στην πρώτη περίπτωση (τυχαίος σχεδιασμός) οι παλινδρομούσες μεταβλητές x_i είναι τυχαίες και λαμβάνονται μαζί με τις y_i's από κάποιο πληθυσμό, όπως σε μια μελέτη παρατήρησης. Αυτή η προσέγγιση επιτρέπει την πιο φυσική μελέτη των ασυμπτωτικών ιδιοτήτων των εκτιμητών. Στην άλλη ερμηνεία (σταθερός σχεδιασμός), οι παλινδρομούσες μεταβλητές X αντιμετωπίζονται ως γνωστές σταθερές που καθορίζονται από έναν σχεδιασμό, και το y δειγματοληπτείται υπό προϋποθέσεις από τις τιμές του X, όπως σε ένα πείραμα. Για πρακτικούς σκοπούς, η διάκριση αυτή είναι συχνά ασήμαντη, δεδομένου ότι η εκτίμηση και η εξαγωγή συμπερασμάτων πραγματοποιείται ενώ εξαρτώνται από το X. Όλα τα αποτελέσματα που αναφέρονται στο παρόν άρθρο εντάσσονται στο πλαίσιο του τυχαίου σχεδιασμού.

Κλασικό μοντέλο γραμμικής παλινδρόμησης

Το κλασικό μοντέλο επικεντρώνεται στην εκτίμηση και την εξαγωγή συμπερασμάτων με «πεπερασμένο δείγμα», δηλαδή ο αριθμός των παρατηρήσεων n είναι σταθερός. Αυτό έρχεται σε αντίθεση με τις άλλες προσεγγίσεις, οι οποίες μελετούν την ασυμπτωτική συμπεριφορά της OLS και στις οποίες μελετάται η συμπεριφορά σε μεγάλο αριθμό δειγμάτων.

• Σωστή προδιαγραφή. Η γραμμική λειτουργική μορφή πρέπει να συμπίπτει με τη μορφή της πραγματικής διαδικασίας παραγωγής δεδομένων.
• Αυστηρή εξωγένεια. Τα σφάλματα στην παλινδρόμηση πρέπει να έχουν υπό συνθήκη μέσο μηδέν:^[21]

${\displaystyle \operatorname {E} [\,\varepsilon \mid X\,]=0.}$

Η άμεση συνέπεια της παραδοχής της εξωγένειας είναι ότι τα σφάλματα έχουν μέσο όρο μηδέν: E[ε] = 0 (για το νόμο της ολικής προσδοκίας), και ότι οι παλινδρομούσες μεταβλητές είναι ασυσχέτιστες με τα σφάλματα: E[X^Tε] = 0.
Η υπόθεση της εξωγένειας είναι κρίσιμη για τη θεωρία OLS. Εάν ισχύει, τότε οι παλινδρομούσες μεταβλητές ονομάζονται εξωγενείς. Εάν δεν ισχύει, τότε οι παλινδρομικές μεταβλητές που συσχετίζονται με τον όρο σφάλματος ονομάζονται ενδογενείς ^[22] και ο εκτιμητής OLS γίνεται μεροληπτικός. Στην περίπτωση αυτή μπορεί να χρησιμοποιηθεί η μέθοδος των εργαλειακών μεταβλητών για τη διεξαγωγή συμπερασμάτων.

• Δεν υπάρχει γραμμική εξάρτηση. Οι παλινδρομούσες μεταβλητές στο Χ πρέπει να είναι όλες γραμμικά ανεξάρτητες. Μαθηματικά, αυτό σημαίνει ότι ο πίνακας X πρέπει να έχει σχεδόν σίγουρα πλήρη βαθμό στήλης:^[23]

${\displaystyle \Pr \!{\big [}\,\operatorname {rank} (X)=p\,{\big ]}=1.}$

Συνήθως, υποτίθεται επίσης ότι οι παλινδρομούσες μεταβλητές έχουν πεπερασμένες ροπές μέχρι τουλάχιστον τη δεύτερη στιγμή. Τότε ο πίνακας Q_xx = E[X^TX / n] είναι πεπερασμένος και θετικά ημικαθορισμένος.

Όταν η υπόθεση αυτή παραβιάζεται, οι παλινδρομούσες μεταβλητές^[4] ονομάζονται γραμμικά εξαρτημένες ή απόλυτα πολυγραμμικές. Σε μια τέτοια περίπτωση η τιμή του συντελεστή παλινδρόμησης β δεν μπορεί να μαθευτεί, αν και η πρόβλεψη των τιμών y εξακολουθεί να είναι δυνατή για νέες τιμές απο παλινδρομούσες μεταβλητές που βρίσκονται στον ίδιο γραμμικά εξαρτημένο υποχώρο.

• Σφαιρικά σφάλματα:^[23]

${\displaystyle \operatorname {Var} [\,\varepsilon \mid X\,]=\sigma ^{2}I_{n},}$ όπου I_n όπου I_n είναι ο πίνακας ταυτότητας στη διάσταση n και σ² είναι μια παράμετρος που καθορίζει τη διακύμανση κάθε παρατήρησης. Αυτό το σ² θεωρείται παράμετρος ενόχλησης στο μοντέλο, αν και συνήθως εκτιμάται επίσης. Εάν παραβιαστεί αυτή η υπόθεση, τότε οι εκτιμήσεις OLS εξακολουθούν να είναι έγκυρες, αλλά δεν είναι πλέον αποτελεσματικές. Συνηθίζεται να χωρίζεται αυτή η υπόθεση σε δύο μέρη:

Ομοσκεδαστικότητα: E[ ε_i² | X ] = σ²

που σημαίνει ότι ο όρος σφάλματος έχει την ίδια διακύμανση σ² σε κάθε παρατήρηση. Όταν αυτή η απαίτηση παραβιάζεται αυτό ονομάζεται ετεροσκεδαστικότητα, σε μια τέτοια περίπτωση ένας πιο αποτελεσματικός εκτιμητής θα ήταν τα σταθμισμένα ελάχιστα τετράγωνα. Αν τα σφάλματα έχουν άπειρη διακύμανση τότε και οι εκτιμήσεις OLS θα έχουν άπειρη διακύμανση (αν και σύμφωνα με το νόμο των μεγάλων αριθμών θα τείνουν ωστόσο προς τις πραγματικές τιμές εφόσον τα σφάλματα έχουν μηδενική μέση τιμή). Σε αυτή την περίπτωση, συνιστώνται ισχυρές τεχνικές εκτίμησης.

Καμία αυτοσυσχέτιση: τα σφάλματα δεν συσχετίζονται μεταξύ των παρατηρήσεων: E[ ε_iε_j | X ] = 0 for i ≠ j Η υπόθεση αυτή μπορεί να παραβιαστεί στο πλαίσιο δεδομένων χρονοσειρών, δεδομένων πάνελ, δειγμάτων συστάδων, ιεραρχικών δεδομένων, δεδομένων επαναλαμβανόμενων μετρήσεων, διαχρονικών δεδομένων και άλλων δεδομένων με εξαρτήσεις. Σε τέτοιες περιπτώσεις, τα γενικευμένα ελάχιστα τετράγωνα παρέχουν μια καλύτερη εναλλακτική λύση από την OLS. Μια άλλη έκφραση για την αυτοσυσχέτιση είναι η σειριακή συσχέτιση.

• Κανονικότητα. Μερικές φορές υποτίθεται επιπλέον ότι τα σφάλματα έχουν κανονική κατανομή υπό την προϋπόθεση ότι εξαρτώνται από τις παλινδρομούσες μεταβλητές:^[24]

${\displaystyle \varepsilon \mid X\sim {\mathcal {N}}(0,\sigma ^{2}I_{n}).}$

Η υπόθεση αυτή δεν είναι απαραίτητη για την εγκυρότητα της μεθόδου OLS, αν και μπορούν να διαπιστωθούν ορισμένες πρόσθετες ιδιότητες πεπερασμένου δείγματος στην περίπτωση που είναι απαραίτητη (ιδίως στον τομέα του ελέγχου υποθέσεων). Επίσης, όταν τα σφάλματα είναι κανονικά, ο εκτιμητής OLS είναι ισοδύναμος με τον εκτιμητή μέγιστης πιθανοφάνειας (MLE), και επομένως είναι ασυμπτωτικά αποτελεσματικός στην κατηγορία όλων των κανονικών εκτιμητών. Είναι σημαντικό ότι η υπόθεση κανονικότητας ισχύει μόνο για τους όρους σφάλματος- αντίθετα με μια δημοφιλή παρανόηση, η μεταβλητή απόκρισης (εξαρτημένη μεταβλητή) δεν απαιτείται να είναι κανονικά κατανεμημένη.^[25]

Ανεξάρτητη και πανομοιότυπη κατανομή (iid)

Σε ορισμένες εφαρμογές, ιδίως με διατομεακά δεδομένα, επιβάλλεται μια πρόσθετη υπόθεση - ότι όλες οι παρατηρήσεις είναι ανεξάρτητες και πανομοιότυπα κατανεμημένες. Αυτό σημαίνει ότι όλες οι παρατηρήσεις λαμβάνονται από ένα τυχαίο δείγμα, γεγονός που καθιστά όλες τις παραδοχές που αναφέρθηκαν προηγουμένως απλούστερες και ευκολότερες στην ερμηνεία. Επίσης, αυτό το πλαίσιο επιτρέπει τη δήλωση ασυμπτωτικών αποτελεσμάτων (καθώς το μέγεθος του δείγματος n → ∞), τα οποία νοούνται ως θεωρητική δυνατότητα άντλησης νέων ανεξάρτητων παρατηρήσεων από τη διαδικασία παραγωγής δεδομένων. Ο κατάλογος των υποθέσεων σε αυτή την περίπτωση είναι ο εξής:

• iid παρατηρήσεις: (x_i, y_i) είναι ανεξάρτητη και έχει την ίδια κατανομή με, (x_j, y_j) για όλες τις i ≠ j,
• όχι τέλεια πολυσυγγραμμικότητα: Q_xx = E[ x_i x_i^T ] είναι ένας θετικά ορισμένος πίνακας,
• εξωγένεια: E[ ε_i | x_i ] = 0;
• ομοσκεδαστικότητα: Var[ ε_i | x_i ] = σ².

Μοντέλο χρονοσειράς

• Η στοχαστική διαδικασία {x_i, y_i} είναι στάσιμη και εργοδική- αν {x_i, y_i} είναι μη στάσιμη, τα αποτελέσματα της OLS είναι συχνά ψευδή, εκτός αν {x_i, y_i} είναι συνολοκληρωμένα^[26].
• Οι παλινδρομούσες μεταβλητές είναι προκαθορισμένες: E[x_iε_i] = 0 για όλα τα i = 1, ..., n,
• Ο p×p πίνακας Q_xx = E[ x_i x_i^T ] είναι πλήρους τάξης και συνεπώς θετικά ορισμένος,
• {x_iε_i} είναι μια ακολουθία διαφορών martingale, με πεπερασμένο πίνακα δεύτερων ροπώνQ_xxε² = E[ ε_i²x_i x_i^T ].

Ιδιότητες πεπερασμένου δείγματος

Πρώτα απ' όλα, υπό την αυστηρή υπόθεση της εξωγένειας οι εκτιμητές OLS ${\displaystyle \scriptstyle {\hat {\beta }}}$ και s² είναι αμερόληπτοι, που σημαίνει ότι οι αναμενόμενες τιμές τους συμπίπτουν με τις πραγματικές τιμές των παραμέτρων:^[27]

${\displaystyle \operatorname {E} [\,{\hat {\beta }}\mid X\,]=\beta ,\quad \operatorname {E} [\,s^{2}\mid X\,]=\sigma ^{2}.}$

Εάν η αυστηρή εξωγένεια δεν ισχύει (όπως συμβαίνει με πολλά μοντέλα χρονολογικών σειρών, όπου η εξωγένεια υποτίθεται μόνο ως προς τις παρελθοντικές διαταραχές αλλά όχι ως προς τις μελλοντικές), τότε οι εκτιμητές αυτοί θα είναι μεροληπτικοί σε πεπερασμένα δείγματα.

Ο πίνακας διακύμανσης-συνδιακύμανσης (ή απλώς ο πίνακας συνδιακύμανσης) του ${\displaystyle \scriptstyle {\hat {\beta }}}$ είναι ίσος με^[28]

${\displaystyle \operatorname {Var} [\,{\hat {\beta }}\mid X\,]=\sigma ^{2}\left(X^{\operatorname {T} }X\right)^{-1}=\sigma ^{2}Q.}$

Ειδικότερα, το τυπικό σφάλμα κάθε συντελεστή ${\displaystyle \scriptstyle {\hat {\beta }}_{j}}$ είναι ίσο με την τετραγωνική ρίζα του j-th διαγώνιου στοιχείου αυτού του πίνακα. Η εκτίμηση αυτού του τυπικού σφάλματος προκύπτει αντικαθιστώντας την άγνωστη ποσότητα σ² με την εκτίμησή της s². Έτσι,

${\displaystyle {\widehat {\operatorname {s.\!e.} }}({\hat {\beta }}_{j})={\sqrt {s^{2}\left(X^{\operatorname {T} }X\right)_{jj}^{-1}}}}$

Μπορεί επίσης εύκολα να αποδειχθεί ότι ο εκτιμητής ${\displaystyle \scriptstyle {\hat {\beta }}}$ είναι ασυσχέτιστος με τα κατάλοιπα του μοντέλου :^[28]

${\displaystyle \operatorname {Cov} [\,{\hat {\beta }},{\hat {\varepsilon }}\mid X\,]=0.}$

Το θεώρημα Γκάους-Μάρκοφ δηλώνει ότι υπό την υπόθεση των σφαιρικών σφαλμάτων (δηλαδή τα σφάλματα πρέπει να είναι ασυσχέτιστα και ομοσκεδαστικά) ο εκτιμητής ${\displaystyle \scriptstyle {\hat {\beta }}}$ είναι αποτελεσματικός στην κατηγορία των γραμμικών αμερόληπτων εκτιμητών. Αυτός ονομάζεται καλύτερος γραμμικός αμερόληπτος εκτιμητής (BLUE). Η αποδοτικότητα πρέπει να γίνει κατανοητή ως εξής: αν βρούμε κάποιον άλλο εκτιμητή ${\displaystyle \scriptstyle {\tilde {\beta }}}$ ο οποίος θα είναι γραμμικός στο y και αμερόληπτος, τότε ^[28]

${\displaystyle \operatorname {Var} [\,{\tilde {\beta }}\mid X\,]-\operatorname {Var} [\,{\hat {\beta }}\mid X\,]\geq 0}$

με την έννοια ότι πρόκειται για μη αρνητικό-οριστικό πίνακα. Αυτό το θεώρημα τεκμηριώνει τη βέλτιστη λειτουργία μόνο στην κατηγορία των γραμμικών αμερόληπτων εκτιμητών, η οποία είναι αρκετά περιοριστική. Ανάλογα με την κατανομή των όρων σφάλματος ε, άλλοι, μη γραμμικοί εκτιμητές μπορεί να παρέχουν καλύτερα αποτελέσματα από την OLS.

Υπόθεση κανονικότητας

Οι ιδιότητες που αναφέρθηκαν μέχρι στιγμής ισχύουν όλες ανεξάρτητα από την υποκείμενη κατανομή των όρων σφάλματος. Ωστόσο, εάν θέλουµε να υποθέσουµε ότι ισχύει η «υπόθεση κανονικότητας» (δηλαδή, ότι ε ~ N(0, σ²I_n)), τότε μπορούν να δηλωθούν πρόσθετες ιδιότητες των εκτιμητών OLS.

Ο εκτιμητής ${\displaystyle \scriptstyle {\hat {\beta }}}$ είναι κανονικά κατανεμημένος, με μέση τιμή και διακύμανση όπως δόθηκε προηγουμένως:^[29]

${\displaystyle {\hat {\beta }}\ \sim \ {\mathcal {N}}{\big (}\beta ,\ \sigma ^{2}(X^{\mathrm {T} }X)^{-1}{\big )}.}$

Αυτός ο εκτιμητής επιτυγχάνει το όριο Κραμέρ-Ράο για το μοντέλο και συνεπώς είναι βέλτιστος στην κατηγορία όλων των αμερόληπτων εκτιμητών.^[20] Σημειώστε ότι σε αντίθεση με το θεώρημα Γκάους-Μάρκοφ, αυτό το αποτέλεσμα καθορίζει τη βελτιστότητα τόσο μεταξύ των γραμμικών όσο και των μη γραμμικών εκτιμητών, αλλά μόνο στην περίπτωση κανονικά κατανεμημένων όρων σφάλματος.

Ο εκτιμητής s² θα είναι ανάλογος με την κατανομή χι-τετράγωνο:^[30]

${\displaystyle s^{2}\ \sim \ {\frac {\sigma ^{2}}{n-p}}\cdot \chi _{n-p}^{2}}$

Η διακύμανση αυτού του εκτιμητή είναι ίση με 2σ⁴/(n − p), η οποία δεν επιτυγχάνει το όριο Κραμέρ-Ράο 2σ⁴/n. Ωστόσο, αποδείχθηκε ότι δεν υπάρχουν αμερόληπτοι εκτιμητές του σ² με διακύμανση μικρότερη από εκείνη του εκτιμητή s².^[31] Αν είμαστε πρόθυμοι να επιτρέψουμε προκατειλημμένους εκτιμητές και θεωρήσουμε την κλάση των εκτιμητών που είναι ανάλογοι με το άθροισμα των τετραγωνικών καταλοίπων (SSR) του μοντέλου, τότε ο καλύτερος (με την έννοια του μέσου τετραγωνικού σφάλματος) εκτιμητής σε αυτή την κλάση θα είναι ^~σ² = SSR / (n − p + 2) ο οποίος μάλιστα ξεπερνά το όριο Κραμέρ-Ράο στην περίπτωση που υπάρχει μόνο ένας παλινδρομητής (p = 1).^[32].

Επιπλέον, οι εκτιμητές β${\displaystyle \scriptstyle {\hat {\beta }}}$ και s² είναι ανεξάρτητοι,^[33] γεγονός που είναι χρήσιμο κατά την κατασκευή των t- και F-tests για την παλινδρόμηση.

Επιδραστικές παρατηρήσεις

Όπως αναφέρθηκε προηγουμένως, ο εκτιμητής ${\displaystyle {\hat {\beta }}}$ είναι γραμμικός ως προς το y, που σημαίνει ότι αντιπροσωπεύει έναν γραμμικό συνδυασμό των εξαρτημένων μεταβλητών y_i. Τα βάρη σε αυτόν τον γραμμικό συνδυασμό είναι συναρτήσεις των παλινδρομητών X και γενικά είναι άνισα. Οι παρατηρήσεις με υψηλά βάρη ονομάζονται επιδραστικές επειδή έχουν πιο έντονη επίδραση στην τιμή του εκτιμητή.

Για να αναλύσουμε ποιες παρατηρήσεις έχουν επιρροή αφαιρούμε μια συγκεκριμένη j-th παρατήρηση και εξετάζουμε πόσο θα μεταβληθούν οι εκτιμώμενες ποσότητες (παρόμοια με τη μέθοδο jackknife). Μπορεί να αποδειχθεί ότι η αλλαγή στον εκτιμητή OLS για το β θα είναι ίση με ^[34]

${\displaystyle {\hat {\beta }}^{(j)}-{\hat {\beta }}=-{\frac {1}{1-h_{j}}}(X^{\mathrm {T} }X)^{-1}x_{j}^{\mathrm {T} }{\hat {\varepsilon }}_{j}\,,}$

όπου h_j = x_j^T (X^TX)⁻¹x_j είναι το j-th διαγώνιο στοιχείο του πίνακα καπέλου P, και x_j είναι το διάνυσμα των παλινδρομητών που αντιστοιχεί στην j-th παρατήρηση. Παρομοίως, η αλλαγή στην προβλεπόμενη τιμή για την 'j-th παρατήρηση που προκύπτει από την παράλειψη της εν λόγω παρατήρησης από το σύνολο δεδομένων θα είναι ίση με ^[34]

${\displaystyle {\hat {y}}_{j}^{(j)}-{\hat {y}}_{j}=x_{j}^{\mathrm {T} }{\hat {\beta }}^{(j)}-x_{j}^{\operatorname {T} }{\hat {\beta }}=-{\frac {h_{j}}{1-h_{j}}}\,{\hat {\varepsilon }}_{j}}$

Από τις ιδιότητες του πίνακα hat, 0 ≤ h_j ≤ 1, και αθροίζουν σε p, έτσι ώστε κατά μέσο όρο h_j ≈ p/n. Αυτές οι ποσότητες h_j ονομάζονται μοχλοί, και οι παρατηρήσεις με υψηλό h_j ονομάζονται σημεία μόχλευσης.^[35] Συνήθως οι παρατηρήσεις με υψηλή μόχλευση πρέπει να εξετάζονται πιο προσεκτικά, σε περίπτωση που είναι λανθασμένες, ακραίες ή με κάποιον άλλο τρόπο άτυπες σε σχέση με το υπόλοιπο σύνολο δεδομένων.

Έλεγχος υπόθεσης

Κύριο άρθρο: Έλεγχος υποθέσεων

Συγκεκριμένα, χρησιμοποιούνται δύο έλεγχοι υποθέσεων. Πρώτον, θέλουμε να μάθουμε αν η εκτιμώμενη εξίσωση παλινδρόμησης είναι καλύτερη από την απλή πρόβλεψη ότι όλες οι τιμές της μεταβλητής απόκρισης είναι ίσες με τον δειγματικό μέσο όρο (αν αυτό δεν συμβαίνει, λέμε ότι δεν έχει ερμηνευτική ισχύ). Η μηδενική υπόθεση ότι η εκτιμώμενη παλινδρόμηση δεν έχει επεξηγηματική ισχύ ελέγχεται με τη χρήση ενός F-test. Εάν η υπολογιζόμενη τιμή F είναι αρκετά μεγάλη ώστε να υπερβαίνει την κρίσιμη τιμή της για το επιλεγμένο επίπεδο σημαντικότητας, η μηδενική υπόθεση απορρίπτεται και η εναλλακτική υπόθεση ότι η παλινδρόμηση έχει επεξηγηματική ισχύ γίνεται αποδεκτή. Διαφορετικά, γίνεται δεκτή η μηδενική υπόθεση ότι δεν υπάρχει ερμηνευτική ισχύς.

Δεύτερον, για κάθε επεξηγηματική μεταβλητή που μας ενδιαφέρει, επιθυμούμε να μάθουμε αν ο εκτιμώμενος συντελεστής της διαφέρει σημαντικά από το μηδέν - δηλαδή αν η συγκεκριμένη επεξηγηματική μεταβλητή έχει πράγματι επεξηγηματική δύναμη στην πρόβλεψη της μεταβλητής απόκρισης. Εδώ, η μηδενική υπόθεση είναι ότι ο πραγματικός συντελεστής είναι μηδέν. Η υπόθεση αυτή ελέγχεται με τον υπολογισμό του t-statistic για τον συντελεστή, δηλαδή του λόγου μεταξύ της εκτίμησης του συντελεστή και του τυπικού σφάλματός του. Εάν το t-statistic είναι μεγαλύτερο από μια προκαθορισμένη τιμή, η μηδενική υπόθεση απορρίπτεται και η μεταβλητή θεωρείται ότι έχει ερμηνευτική ισχύ, καθώς ο συντελεστής της διαφέρει σημαντικά από το μηδέν. Διαφορετικά, γίνεται δεκτή η μηδενική υπόθεση μηδενικής τιμής για τον πραγματικό συντελεστή.

Επιπλέον, ο έλεγχος Τσόου χρησιμοποιείται για να ελεγχθεί αν δύο υποδείγματα έχουν τις ίδιες υποκείμενες πραγματικές τιμές συντελεστών. Το άθροισμα των τετραγωνικών καταλοίπων των παλινδρομήσεων σε κάθε ένα από τα υποσύνολα και στο συνδυασμένο σύνολο δεδομένων συγκρίνεται με τον υπολογισμό μιας στατιστικής F- αν αυτή υπερβαίνει μια κρίσιμη τιμή, η μηδενική υπόθεση της μη ύπαρξης διαφοράς μεταξύ των δύο υποσυνόλων απορρίπτεται- διαφορετικά, γίνεται δεκτή.

Παράδειγμα με πραγματικά δεδομένα

Δείτε επίσης: Απλή γραμμική παλινδρόμηση

Το ακόλουθο σύνολο δεδομένων δίνει το μέσο ύψος και βάρος για Αμερικανίδες ηλικίας 30-39 ετών (πηγή: The World Almanac and Book of Facts, 1975).

Ύψος (m)	1.47	1.50	1.52	1.55	1.57	Διάγραμμα διασποράς των δεδομένων, η σχέση είναι ελαφρώς καμπυλωτή αλλά προσεγγίζει τη γραμμική
Βάρος (kg)	52.21	53.12	54.48	55.84	57.20
Ύψος (m)	1.60	1.63	1.65	1.68	1.70
Βάρος (kg)	58.57	59.93	61.29	63.11	64.47
Ύψος (m)	1.73	1.75	1.78	1.80	1.83
Βάρος (kg)	66.28	68.10	69.92	72.19	74.46

Όταν μοντελοποιείται μια ενιαία εξαρτημένη μεταβλητή, ένα διάγραμμα διασποράς υποδηλώνει τη μορφή και την ισχύ της σχέσης μεταξύ της εξαρτημένης μεταβλητής και των παλινδρομητών. Μπορεί επίσης να αποκαλύψει ακραίες τιμές, ετεροσκεδαστικότητα και άλλες πτυχές των δεδομένων που μπορεί να περιπλέξουν την ερμηνεία ενός προσαρμοσμένου μοντέλου παλινδρόμησης. Το διάγραμμα διασποράς υποδηλώνει ότι η σχέση είναι ισχυρή και μπορεί να προσεγγιστεί ως τετραγωνική συνάρτηση. Η OLS μπορεί να αντιμετωπίσει μη γραμμικές σχέσεις εισάγοντας τον παλινδρομητή HEIGHT2. Το μοντέλο παλινδρόμησης γίνεται τότε ένα πολλαπλό γραμμικό μοντέλο:

${\displaystyle w_{i}=\beta _{1}+\beta _{2}h_{i}+\beta _{3}h_{i}^{2}+\varepsilon _{i}.}$

Fitted regression

Η έξοδος από τα περισσότερα δημοφιλή στατιστικά πακέτα θα μοιάζει με αυτό:

Μέθοδος	Least squares
Εξαρτημένη μεταβλητή	WEIGHT
Παρατηρήσεις	15
Παράμετρος	Τιμή	Σφάλμα Std	t-στατιστική	p-τιμή
${\displaystyle \beta _{1}}$	128.8128	16.3083	7.8986	0.0000
${\displaystyle \beta _{2}}$	–143.1620	19.8332	–7.2183	0.0000
${\displaystyle \beta _{3}}$	61.9603	6.0084	10.3122	0.0000
R^2	0.9989	S.E. of regression		0.2516
Adjusted R^2	0.9987	Model sum-of-sq.		692.61
Log-likelihood	1.0890	Residual sum-of-sq.		0.7595
Durbin–Watson stat.	2.1013	Total sum-of-sq.		693.37
Akaike criterion	0.2548	F-statistic		5471.2
Schwarz criterion	0.3964	p-value (F-stat)		0.0000

Σε αυτόν τον πίνακα:

• Η στήλη Τιμή δίνει τις εκτιμήσεις των ελαχίστων τετραγώνων των παραμέτρων β_j
• Η στήλη Σφάλμα Std δείχνει τα τυπικά σφάλματα κάθε εκτίμησης του συντελεστή: ${\displaystyle {\hat {\sigma }}_{j}=\left({\hat {\sigma }}^{2}\left[Q_{xx}^{-1}\right]_{jj}\right)^{\frac {1}{2}}}$
• Οι στήλες t-στατιστική και p-τιμή ελέγχουν αν κάποιος από τους συντελεστές μπορεί να είναι ίσος με μηδέν. Το t-statistic υπολογίζεται απλά ως ${\displaystyle t={\hat {\beta }}_{j}/{\hat {\sigma }}_{j}}$. Εάν τα σφάλματα ε ακολουθούν κανονική κατανομή, το t ακολουθεί κατανομή Student-t. Υπό ασθενέστερες συνθήκες, το t είναι ασυμπτωτικά κανονικό. Μεγάλες τιμές του t δείχνουν ότι η μηδενική υπόθεση μπορεί να απορριφθεί και ότι ο αντίστοιχος συντελεστής δεν είναι μηδέν. Η δεύτερη στήλη, p-τιμή, εκφράζει τα αποτελέσματα του ελέγχου υποθέσεων ως επίπεδο σημαντικότητας. Συνήθως, τιμές p-τιμή μικρότερες από 0,05 θεωρούνται ως απόδειξη ότι ο συντελεστής του πληθυσμού δεν είναι μηδενικός.
• Το R-τετράγωνο είναι ο συντελεστής προσδιορισμού που δείχνει την καλή προσαρμογή της παλινδρομούσα μεταβλητή. Το στατιστικό αυτό θα είναι ίσο με ένα αν η προσαρμογή είναι τέλεια και μηδέν όταν οι παλινδρομούσες μεταβλητές Χ δεν έχουν καμία απολύτως ερμηνευτική δύναμη. Πρόκειται για μια μεροληπτική εκτίμηση του R-τετραγώνου του πληθυσμού και δεν θα μειωθεί ποτέ εάν προστεθούν πρόσθετες παλινδρομούσες μεταβλητές, ακόμη και αν είναι άσχετες.
• Το Προσαρμοσμένο R-τετράγωνο είναι μια ελαφρώς τροποποιημένη έκδοση του ${\displaystyle R^{2}}$, σχεδιασμένη να τιμωρεί για τον υπερβολικό αριθμό από παλινδρομούσες μεταβλητές που δεν προσθέτουν στην ερμηνευτική δύναμη της παλινδρόμησης. Αυτό το στατιστικό είναι πάντα μικρότερο από το ${\displaystyle R^{2}}$, μπορεί να μειώνεται καθώς προστίθενται νέες παλινδρομούσες μεταβλητές και να είναι ακόμη και αρνητικό για μοντέλα με κακή προσαρμογή:

${\displaystyle {\overline {R}}^{2}=1-{\frac {n-1}{n-p}}(1-R^{2})}$

• Η λογαριθμική πιθανοφάνεια υπολογίζεται με την υπόθεση ότι τα σφάλματα ακολουθούν κανονική κατανομή. Παρόλο που η υπόθεση δεν είναι πολύ λογική, αυτή η στατιστική μπορεί να βρει τη χρήση της στη διεξαγωγή δοκιμών LR.
• Η στατιστική Ντάρμπιν-Γουάτσον ελέγχει αν υπάρχουν ενδείξεις σειριακής συσχέτισης μεταξύ των καταλοίπων. Κατά κανόνα, η τιμή μικρότερη του 2 αποτελεί ένδειξη θετικής συσχέτισης.
• Το «κριτήριο πληροφοριών Ακάικε» και το «κριτήριο Σβαρτς» χρησιμοποιούνται και τα δύο για την επιλογή μοντέλων. Γενικά, κατά τη σύγκριση δύο εναλλακτικών μοντέλων, μικρότερες τιμές ενός από αυτά τα κριτήρια υποδηλώνουν ένα καλύτερο μοντέλο.^[36]
• Το Τυπικό σφάλμα της παλινδρόμησης είναι μια εκτίμηση του σ, του τυπικού σφάλματος του όρου σφάλματος.
• Το «συνολικό άθροισμα τετραγώνων», το «άθροισμα τετραγώνων μοντέλου» και το «υπόλοιπο άθροισμα τετραγώνων» μας λένε πόσο μεγάλο μέρος της αρχικής διακύμανσης του δείγματος εξηγείται από την παλινδρόμηση.
• Η F-στατιστική προσπαθεί να ελέγξει την υπόθεση ότι όλοι οι συντελεστές (εκτός από την τομή) είναι ίσοι με μηδέν. Το στατιστικό αυτό έχει κατανομή F(p-1,n-p) υπό τη μηδενική υπόθεση και την υπόθεση κανονικότητας, και η p-value του υποδηλώνει την πιθανότητα ότι η υπόθεση είναι πράγματι αληθής. Σημειώστε ότι όταν τα σφάλματα δεν είναι κανονικά, αυτό το στατιστικό καθίσταται άκυρο και θα πρέπει να χρησιμοποιούνται άλλα τεστ, όπως το τεστ Wald ή το τεστ LR.

Διάγραμμα υπολειμμάτων

Η συνήθης ανάλυση ελαχίστων τετραγώνων περιλαμβάνει συχνά τη χρήση διαγνωστικών διαγραμμάτων που αποσκοπούν στην ανίχνευση αποκλίσεων των δεδομένων από την υποτιθέμενη μορφή του μοντέλου. Αυτά είναι μερικά από τα συνήθη διαγνωστικά διαγράμματα:

• Υπολείμματα έναντι των επεξηγηματικών μεταβλητών του μοντέλου. Μια μη γραμμική σχέση μεταξύ αυτών των μεταβλητών υποδηλώνει ότι η γραμμικότητα της συνάρτησης του υπό συνθήκη μέσου όρου μπορεί να μην ισχύει. Διαφορετικά επίπεδα μεταβλητότητας στα κατάλοιπα για διαφορετικά επίπεδα των επεξηγηματικών μεταβλητών υποδηλώνουν πιθανή ετεροσκεδαστικότητα.
• Κατάλοιπα έναντι των επεξηγηματικών μεταβλητών που δεν περιλαμβάνονται στο μοντέλο. Οποιαδήποτε σχέση των καταλοίπων με αυτές τις μεταβλητές θα υποδείκνυε την εξέταση αυτών των μεταβλητών για συμπερίληψη στο μοντέλο.
• Κατάλοιπα έναντι των προσαρμοσμένων τιμών, ${\displaystyle {\hat {y}}}$.
• Υπολείμματα έναντι του προηγούμενου υπολοίπου. Αυτό το διάγραμμα μπορεί να εντοπίσει σειριακές συσχετίσεις στα κατάλοιπα.

Ένα σημαντικό στοιχείο κατά τη διεξαγωγή στατιστικών συμπερασμάτων με τη χρήση μοντέλων παλινδρόμησης είναι ο τρόπος δειγματοληψίας των δεδομένων. Σε αυτό το παράδειγμα, τα δεδομένα είναι μέσοι όροι και όχι μετρήσεις σε μεμονωμένες γυναίκες. Η προσαρμογή του μοντέλου είναι πολύ καλή, αλλά αυτό δεν σημαίνει ότι το βάρος μιας μεμονωμένης γυναίκας μπορεί να προβλεφθεί με μεγάλη ακρίβεια με βάση μόνο το ύψος της.

Ευαισθησία στη στρογγυλοποίηση

Το παράδειγμα αυτό δείχνει επίσης ότι οι συντελεστές που προσδιορίζονται από αυτούς τους υπολογισμούς είναι ευαίσθητοι στον τρόπο προετοιμασίας των δεδομένων. Τα ύψη δόθηκαν αρχικά στρογγυλοποιημένα στην πλησιέστερη ίντσα και έχουν μετατραπεί και στρογγυλοποιηθεί στο πλησιέστερο εκατοστό. Δεδομένου ότι ο συντελεστής μετατροπής είναι μία ίντσα σε 2,54 cm, αυτή δεν είναι όχι ακριβής μετατροπή. Οι αρχικές ίντσες μπορούν να ανακτηθούν με το Round(x/0,0254) και στη συνέχεια να μετατραπούν εκ νέου σε μετρικές χωρίς στρογγυλοποίηση. Αν γίνει αυτό, τα αποτελέσματα γίνονται:

	Const	Height	Height^2
Converted to metric with rounding.	128.8128	−143.162	61.96033
Converted to metric without rounding.	119.0205	−131.5076	58.5046

Υπολείμματα τετραγωνικής προσαρμογής για σωστά και λανθασμένα μετατρεπόμενα δεδομένα.

Η χρήση οποιασδήποτε από αυτές τις εξισώσεις για την πρόβλεψη του βάρους μιας γυναίκας ύψους 1,6764 μ. δίνει παρόμοιες τιμές: 62,94 kg με στρογγυλοποίηση έναντι 62,98 kg χωρίς στρογγυλοποίηση. Έτσι, μια φαινομενικά μικρή διαφοροποίηση στα δεδομένα έχει πραγματική επίδραση στους συντελεστές αλλά μικρή επίδραση στα αποτελέσματα της εξίσωσης.

Ενώ αυτό μπορεί να φαίνεται αβλαβές στη μέση του εύρους των δεδομένων, μπορεί να γίνει σημαντικό στα άκρα ή στην περίπτωση που το προσαρμοσμένο μοντέλο χρησιμοποιείται για προβολή εκτός του εύρους των δεδομένων (παρέκταση).

Αυτό αναδεικνύει ένα συνηθισμένο σφάλμα: το παράδειγμα αυτό αποτελεί κατάχρηση της OLS, η οποία απαιτεί εγγενώς ότι τα σφάλματα στην ανεξάρτητη μεταβλητή (σε αυτή την περίπτωση το ύψος) είναι μηδενικά ή τουλάχιστον αμελητέα. Η αρχική στρογγυλοποίηση στην πλησιέστερη ίντσα συν τυχόν πραγματικά σφάλματα μέτρησης συνιστούν ένα πεπερασμένο και μη αμελητέο σφάλμα. Ως αποτέλεσμα, οι προσαρμοσμένες παράμετροι δεν είναι οι καλύτερες εκτιμήσεις που υποτίθεται ότι είναι. Αν και δεν είναι εντελώς ψευδές, το σφάλμα στην εκτίμηση εξαρτάται από το σχετικό μέγεθος των σφαλμάτων «x» και «y».

Εξωτερικοί σύνδεσμοι

• English - Greek Dictionary of Pure and Applied Mathematics Εθνικό Μετσόβιο Πολυτεχνείο
• Αγγλοελληνικό Λεξικό Μαθηματικής Ορολογίας - Πανεπιστήμιο Κύπρου
• Ευκλείδεια Γεωμετρία - Πανελλήνιο Σχολικό Δίκτυο
• Θεωρία ομάδων και Λι αλγεβρών -Εθνικό Αρχείο Διδακτορικών Διατριβών
• Θεωρία Αριθμών και Εφαρμογές
• Υπολογιστική Θεωρία Αριθμών
• Καμπυλότητες και γεωμετρία του Riemann σε διαφορίσιμες πολλαπλότητες Εθνικό Αρχείο Διδακτορικών Διατριβών
• Μέθοδοι μηχανικής μάθησης βασισμένες σε έλεγχο μονοτροπικότητας Εθνικό Αρχείο Διδακτορικών Διατριβών
• Παράμετροι και Στατιστικά. Διωνυμική και Κανονική Κατανομή

Δείτε επίσης

• Απαγορευτική αρχή του Πάουλι
• Κατανομή t-Student
• Κανονική κατανομή
• Αλγεβρική θεωρία αριθμών
• Διαφορική γεωμετρία
• Άρθουρ Στάνλεϋ Έντινγκτον
• Θεωρία αναπαραστάσεων
• Σουμπραμανιάν Τσαντρασεκάρ
• Ευκλείδειος χώρος
• Ένα προς ένα
• Σουμπραμανιάν Τσαντρασεκάρ
• Εφαρμοσμένα μαθηματικά
• Προβολικός χώρος
• Διακριτός μετασχηματισμός Φουριέ
• Θεμελιώδες θεώρημα αριθμητικής
• Αλγεβρική γεωμετρία
• Μιγαδικός αριθμός
• Άρθουρ Στάνλεϋ Έντινγκτον
• Τυπική απόκλιση

Βιβλιογραφία

• Feldman, Richard M.· Valdez-Flores, Ciriaco (27 Νοεμβρίου 2009). Applied Probability and Stochastic Processes. Springer Science & Business Media. ISBN 978-3-642-05158-6. 
• Sabry, Fouad (11 Μαΐου 2024). Least Squares: Optimization Techniques for Computer Vision: Least Squares Methods. One Billion Knowledgeable. 
• Groß, Jürgen (25 Ιουλίου 2003). Linear Regression. Springer Science & Business Media. ISBN 978-3-540-40178-0. 
• Montgomery, Douglas C.· Peck, Elizabeth A. (16 Μαρτίου 2021). Introduction to Linear Regression Analysis. John Wiley & Sons. ISBN 978-1-119-57872-7. 
• Weisberg, Sanford (1 Απριλίου 2005). Applied Linear Regression. John Wiley & Sons. ISBN 978-0-471-70408-9. 
• Armstrong, J. S. (2001). Principles of Forecasting: A Handbook for Researchers and Practitioners. Springer Science & Business Media. ISBN 978-0-7923-7401-5. 
• Farebrother, R. W. (2 Μαΐου 2018). Linear Least Squares Computations. Routledge. ISBN 978-1-351-43526-0. 
• Ogundare, John Olusegun (10 Οκτωβρίου 2018). Understanding Least Squares Estimation and Geomatics Data Analysis. John Wiley & Sons. ISBN 978-1-119-50144-2. 
• Vinzi, Vincenzo Esposito· Chin, Wynne W. (10 Μαρτίου 2010). Handbook of Partial Least Squares: Concepts, Methods and Applications. Springer Science & Business Media. ISBN 978-3-540-32827-8. 
• Radomir, Lăcrămioara· Ciornea, Raluca (15 Σεπτεμβρίου 2023). State of the Art in Partial Least Squares Structural Equation Modeling (PLS-SEM): Methodological Extensions and Applications in the Social Sciences and Beyond. Springer Nature. ISBN 978-3-031-34589-0. 
• Roy, Sujit Kumar (1974). Econometric Models of Cash & Futures Prices of Shell Eggs. Economic Research Service, U.S. Department of Agriculture. 
• Huffel, Sabine van (1 Ιανουαρίου 1997). Recent Advances in Total Least Squares Techniques and Errors-in-variables Modeling. SIAM. ISBN 978-0-89871-393-0. 

Παραπομπές

1. Prachowny, Martin F. J. (1993). «Okun's Law: Theoretical Foundations and Revised Estimates». The Review of Economics and Statistics 75 (2): 331–336. doi:10.2307/2109440. ISSN 0034-6535. https://www.jstor.org/stable/2109440. 
2. Cayley (mathématicien), Arthur (1896). The Collected Mathematical Papers. University Press. 
3. «The Origins of Ordinary Least Squares Assumptions». Feature Column (στα Αγγλικά). 1 Μαρτίου 2022. Ανακτήθηκε στις 16 Μαΐου 2024. 
4. «Αγγλοελληνικό Λεξικό Μαθηματικής Ορολογίας - Πανεπιστήμιο Κύπρου -σελίδα 285 - regressor: παλινδρομούσα μεταβλητή» (PDF). 
5. «What is a complete list of the usual assumptions for linear regression?». Cross Validated (στα Αγγλικά). Ανακτήθηκε στις 28 Σεπτεμβρίου 2022. 
6. Goldberger, Arthur S. (1964). «Classical Linear Regression». Econometric Theory. New York: John Wiley & Sons. σελίδες 158. ISBN 0-471-31101-4. 
7. Hayashi, Fumio (2000). Econometrics. Princeton University Press. σελ. 15. 
8. Hayashi (2000, page 18).
9. Ghilani, Charles D.· Paul r. Wolf, Ph. D. (12 Ιουνίου 2006). Adjustment Computations: Spatial Data Analysis. ISBN 9780471697282. 
10. Hofmann-Wellenhof, Bernhard· Lichtenegger, Herbert· Wasle, Elmar (20 Νοεμβρίου 2007). GNSS – Global Navigation Satellite Systems: GPS, GLONASS, Galileo, and more. ISBN 9783211730171. 
11. Xu, Guochang (5 Οκτωβρίου 2007). GPS: Theory, Algorithms and Applications. ISBN 9783540727156. 
12. Hayashi (2000, page 19)
13. Hoaglin, David C.; Welsch, Roy E. (1978). «The Hat Matrix in Regression and ANOVA». The American Statistician 32 (1): 17–22. doi:10.1080/00031305.1978.10479237. ISSN 0003-1305. 
14. Julian Faraway (2000), Practical Regression and Anova using R
15. Kenney, J.· Keeping, E. S. (1963). Mathematics of Statistics. van Nostrand. σελ. 187. 
16. Zwillinger, D. (1995). Standard Mathematical Tables and Formulae. Chapman&Hall/CRC. σελ. 626. ISBN 0-8493-2479-3. 
17. Hayashi (2000, page 20)
18. Akbarzadeh, Vahab (7 Μαΐου 2014). «Line Estimation». 
19. Hayashi (2000, page 49)
20. Hayashi (2000, page 52)
21. Hayashi (2000, page 7)
22. Hayashi (2000, page 187)
23. Hayashi (2000, page 10)
24. Hayashi (2000, page 34)
25. Williams, M. N; Grajales, C. A. G; Kurkiewicz, D (2013). «Assumptions of multiple regression: Correcting two misconceptions». Practical Assessment, Research & Evaluation 18 (11). https://scholarworks.umass.edu/cgi/viewcontent.cgi?article=1308&context=pare. 
26. «Memento on EViews Output» (PDF). Ανακτήθηκε στις 28 Δεκεμβρίου 2020. 
27. Hayashi (2000, pages 27, 30)
28. Hayashi (2000, page 27)
29. Amemiya, Takeshi (1985). Advanced Econometrics. Harvard University Press. σελ. 13. ISBN 9780674005600. 
30. Amemiya (1985, page 14)
31. Rao, C. R. (1973). Linear Statistical Inference and its Applications (Second έκδοση). New York: J. Wiley & Sons. σελ. 319. ISBN 0-471-70823-2. 
32. Amemiya (1985, page 20)
33. Amemiya (1985, page 27)
34. Davidson, Russell· MacKinnon, James G. (1993). Estimation and Inference in Econometrics. New York: Oxford University Press. σελ. 33. ISBN 0-19-506011-3. 
35. Davidson & MacKinnon (1993, page 36)
36. Burnham, Kenneth P.· David Anderson (2002). Model Selection and Multi-Model Inference (2nd έκδοση). Springer. ISBN 0-387-95364-7. 

• Bartle, Robert G. (1976). The Elements of Real Analysis (2nd έκδοση). Wiley. ISBN 978-0-471-05464-1. 
• Dubinsky, Ed· Harel, Guershon (1992). The Concept of Function: Aspects of Epistemology and Pedagogy. Mathematical Association of America. ISBN 978-0-88385-081-7. 
• Hammack, Richard (2009). «12. Functions» (PDF). Book of Proof. Virginia Commonwealth University. Ανακτήθηκε στις 1 Αυγούστου 2012. 
• Husch, Lawrence S. (2001). Visual Calculus. University of Tennessee. Αρχειοθετήθηκε από το πρωτότυπο στις 24 Σεπτεμβρίου 2011. Ανακτήθηκε στις 27 Σεπτεμβρίου 2007. 
• Hart, J.F.· Cheney, E.W.· Lawson, C.L.· Maehly, H.J.· Mesztenyi, C.K.· Rice, Jr., J.R.· Thacher, H.C.· Witzgall, C. (1968). Computer Approximations. Wiley. OCLC 0471356301. 
• Fox, L.· Parker, I.B. (1968). Chebyshev Polynomials in Numerical Analysis. Oxford mathematical handbooks. Oxford University Press. ISBN 978-0-19-859614-1. OCLC 9036207. 
• Press, WH· Teukolsky, S.A.· Vetterling, W.T.· Flannery, B.P. (2007). «§5.8 Chebyshev Approximation». Numerical Recipes: The Art of Scientific Computing (3rd έκδοση). Cambridge University Press. ISBN 978-0-521-88068-8. 
• «Redressing grievances with the treatment of dimensionless quantities in SI». Measurement (London, UK: Elsevier Ltd.) 109: 105–110. October 2017. doi:10.1016/j.measurement.2017.05.043. NIHMS1633436. ISSN 0263-2241. PMID 33311828. Bibcode: 2017Meas..109..105F.  [1] (15 pages)
• Remes (Remez), E. (1934). «Sur le calcul effectif des polynomes d'approximation de Tschebyschef» (στα γαλλικά). C. R. Acad. Sci. 199: 337–340. https://gallica.bnf.fr/ark:/12148/bpt6k3151h/f337.item. 
• Steffens, K.-G. (2006). The History of Approximation Theory: From Euler to Bernstein,. Birkhauser. doi:10.1007/0-8176-4475-X. ISBN 0-8176-4353-2. 
• Erdélyi, T. (2008). «Extensions of the Bloch-Pólya theorem on the number of distinct real zeros of polynomials». Journal de théorie des nombres de Bordeaux 20: 281–7. http://www.numdam.org/item/10.5802/jtnb.627.pdf. 
• Erdélyi, T. (2009). «The Remez inequality for linear combinations of shifted Gaussians». Math. Proc. Camb. Phil. Soc. 146: 523–530. doi:10.1017/S0305004108001849. 
• Trefethen, L.N. (2020). Approximation theory and approximation practice. SIAM. ISBN 978-1-61197-594-9.  Ch. 1–6 of 2013 edition

Πηγές

• Apostol, Thomas M. (1976), Introduction to Analytic Number Theory, New York: Springer, ISBN 0-387-90163-9, https://archive.org/details/introductiontoan00apos_0 
• Conway, John Horton; Guy, Richard K. (1996), The Book of Numbers, New York: Copernicus, ISBN 978-0-387-97993-9 
• Crandall, Richard; Pomerance, Carl (2005), Prime Numbers: A Computational Perspective (2nd έκδοση), Berlin, New York: Springer-Verlag, ISBN 978-0-387-25282-7 
• Singer, I. M.· Thorpe, J. A. (28 Μαΐου 2015). Lecture Notes on Elementary Topology and Geometry. Springer. ISBN 978-1-4615-7347-0. 
• Apostol, Tom M. (29 Ιουνίου 2013). Introduction to Analytic Number Theory. Springer Science & Business Media. ISBN 978-1-4757-5579-4. 
• Miller, P. D. (2006), Applied Asymptotic Analysis, American Mathematical Society, ISBN 9780821840788, https://books.google.com/books?id=KQvqBwAAQBAJ 
• Apostol, Thomas M. (1976), Introduction to Analytic Number Theory, New York: Springer, ISBN 0-387-90163-9, https://archive.org/details/introductiontoan00apos_0