Ανάλυση Πολλαπλής Παλινδρόμησης

1. Ανάλυση Πολλαπλής Παλινδρόμησης y = b0 + b1x1 + b2x2 + . . . bkxk + u 6. Ετεροσκεδαστικότητα Κεφάλαιο 8

2. Τι Είναι Ετεροσκεδαστικότητα • Ανακαλέστε την υπόθεση της ομοσκεδαστικότητας η οποία υποθέτει ότι η διακύμανση του μη-παρατηρουμένου σφάλματος, u, υπό-δέσμευση ως προς όλες τις επεξηγηματικές μεταβλητές, είναι σταθερή. • Εάν αυτό δεν είναι αληθής, δηλαδή εάν η διακύμανση τουuείναι διαφορετική για διαφορετικές τιμές τωνx, τότε τα σφάλματα δεν είναι ομοσκεδαστικά. • Παράδειγμα: η εκτίμηση των απολαβών σε σχέση με την εκπαίδευση και την ικανότητα των εργαζομένων δεν παρατηρείται, και σκεφτείτε ότι η διακύμανση της ικανότητας διαφέρει κατά μορφωτικό επίπεδο.

3. Παράδειγμα Ετεροσκεδαστικότητας f(y|x) y . . E(y|x) = b0 + b1x . x1 x2 x3 x

4. Γιατί Ανησυχούμε για την Ετεροσκεδαστικότητα; • OLS είναι ακόμη αμερόληπτοι και συνεπείς, ακόμη και αν δεν υποθέτουμε ομοσκεδαστικότητα. • Τα τυπικά σφάλματα των εκτιμητών είναι μεροληπτικά όταν έχουμε ετεροσκεδαστικότητα. • Εάν τα τυπικά σφάλματα είναι μεροληπτικά, δεν μπορούμε να χρησιμοποιήσουμε τις σύνηθεςtήFήLMστατιστικές για να εξάγουμε συμπεράσματα.

5. Διακύμανση με Ετεροσκεδαστικότητα

6. Διακύμανση με Ετεροσκεδαστικότητα

7. Ανθεκτικά Τυπικά Σφάλματα • Τώρα που έχουμε έναν συνεπή εκτιμητή της διακύμανσης, η τετραγωνική ρίζα μπορεί να χρησιμοποιηθεί ως ένα τυπικό σφάλμα για συμπερασματολογία. • Γενικώς καλούνται ανθεκτικά τυπικά σφάλματα. • Ορισμένες φορές η εκτιμώμενη διακύμανση διορθώνεται για βαθμούς ελευθερίας πολλαπλασιάζοντας μεn/(n – k – 1) • Καθώςn → ∞ δεν υπάρχει διαφορά, αφού το όριο είναι 1.

8. Ανθεκτικά Τυπικά Σφάλματα και F Έλεγχος • Είναι σημαντικό να θυμόμαστε ότι αυτά τα ανθεκτικά τυπικά σφάλματα έχουν μόνο ασυμπτωτική εγκυρότητα – για μικρά μεγέθη του δείγματος οιtστατιστικές υπολογισμένες με τα ανθεκτικά τυπικά σφάλματα δεν ακολουθούν t-κατανομή, και τα συμπεράσματα δεν είναι σωστά. • Στο Stata, ανθεκτικά τυπικά σφάλματα είναι εύκολο να επιτευχθούν αν χρησιμοποιήσουμε την εντολή robust στην διαδικασία reg. • Η στατιστική F είναι ανθεκτική ως προς την ετεροσκεδαστικότητα και καλείται και Wald στατιστική.

9. Μία ΑνθεκτικήLMΣτατιστική • Εκτελούμε OLS στο υπό δέσμευση μοντέλο και σώστε τα κατάλοιπαŭ. • Παλινδρομήστε κάθε μία από τις μεταβλητές που αποκλείονται επί όλων των ανεξαρτήτων μεταβλητών που χρησιμοποιούνται (q διαφορετικές παλινδρομήσεις) και σώστετιςομάδες των καταλοίπωνř1, ř2, …, řq. • Παλινδρομήστετην μεταβλητή 1 επί των ř1 ŭ, ř2 ŭ, …, řq ŭ, χωρίς τεταγμένη της αρχής. • Η LM στατιστική είναι n – SSR1, όπου SSR1είναι το άθροισμα των τετραγώνων των καταλοίπων από την τελευταία παλινδρόμηση και ακολουθεί χ2-κατανομή με qβαθμούς ελευθερίας.

10. Έλεγχος για Ετεροσκεδαστικότητα • Ουσιαστικά θέλουμε να ελέγξουμε H0: Var(u|x1, x2,…, xk) = s2, το οποίο είναι ισοδύναμο με H0: E(u2|x1, x2,…, xk) = E(u2) = s2 • Εάν υποθέσουμε ότι η σχέση μεταξύ τουu2καιxjείναι γραμμική, μπορούμε να το ελέγξουμε σαν ένα γραμμικό περιορισμό. • Έτσι, για u2 = d0 + d1x1 +…+ dk xk + v, σημαίνει έλεγχος του H0: d1 = d2 = … = dk = 0

11. Το τεστ των Breusch-Pagan για την Ετεροσκεδαστικότητα • Το σφάλμα δεν παρατηρείται, αλλά μπορούμε να το εκτιμήσουμε από την παλινδρόμηση των OLS. • Αφού παλινδρομήσουμε τα τετράγωνα των καταλοίπων επί όλων τωνx’s, μπορούμε να χρησιμοποιήσουμε το R2για να υπολογίσουμε ένα Fή έναLMτεστ. • Η Fστατιστική είναι ηFστατιστική για την ολική σημαντικότητα της παλινδρόμησης, F = [R2/k]/[(1 –R2)/(n – k – 1)], το οποίο είναι κατανεμημένο Fk, n – k - 1 • ΗLMστατιστική είναιLM = nR2, με κατανομήc2k

12. Το τεστ του White • Το τεστ του Breusch-Pagan ανιχνεύει κάθε είδους γραμμική σχέση για ετεροσκεδαστικοτητα. • Το τεστ του White επιτρέπει και μη-γραμμικές σχέσεις χρησιμοποιώντας τετράγωνα και γινόμενα όλων τωνx. • Ακόμα χρησιμοποιούμε έναFήLMγια τον έλεγχο όλων τωνxj, xj2, καιxjxhείναι από κοινού σημαντικά. • Αλλά αυτό μπορεί να γίνει εύκολα πολύ άβολο.

13. Εναλλακτική Μορφή για το Τεστ του White • Θεωρήστε ότι οι εκτιμώμενες τιμές των OLS, ŷ, είναι συνάρτηση όλων τωνx. • Έτσι, ŷ2θα είναι συνάρτηση των τετραγώνων και των γινομένων, καιŷκαιŷ2 αντιπροσωπεύουν για όλα ταxj, xj2, καιxjxh, έτσι • Παλινδρομούμε τα τετράγωνα των καταλοίπων επί τωνŷκαιŷ2και χρησιμοποιούμε το R2για τον υπολογισμό των F ή LM στατιστικών. • Σημειώστε ότι ελέγχουμε μόνο για δύο περιορισμούς τώρα.

14. Σταθμισμένα Ελάχιστα Τετράγωνα • Αν και είναι πάντα δυνατό να εκτιμήσουμε ανθεκτικά τυπικά σφάλματα για OLS εκτιμητές, εάν γνωρίζουμε κάτι σχετικά με τη συγκεκριμένη μορφή της ετεροσκεδαστικότητας, μπορούμε να επιτύχουμε πιο αποτελεσματικούς εκτιμητές από τους OLS • Η βασική ιδέα είναι να μετασχηματίσουμε το μοντέλο σε ένα νέο μοντέλο με ομοσκεδαστικά σφάλματα – η τεχνική καλείται σταθμισμένα ελάχιστα τετράγωνα

15. Η μορφή της ετεροσκεδαστικότητας συσχετιζόμενη με μία πολλαπλασιαζόμενη σταθερά • Υποθέστε ότι η ετεροσκεδαστικότητα μπορεί να μοντελοποιηθεί ως Var(u|x) = s2h(x), όπου το τέχνασμα είναι να καθορίσουμε τη μορφή τηςh(x) ≡hi • E(ui/√hi|x) = 0, επειδήhiείναι μόνο συνάρτηση τουx, και Var(ui/√hi|x) = s2,αφού γνωρίζουμε ότι Var(u|x) = s2hi • Έτσι, εάν διαιρέσουμε και τα δύο μέλη της εξίσωσης με√hiθα έχουμε ένα μοντέλο με ομοσκεδαστικά σφάλματα.

16. Γενικευμένα Ελάχιστα Τετράγωνα • Η εκτίμηση της μετασχηματισμένης εξίσωσης με OLS είναι ένα παράδειγμα γενικευμένων ελάχιστων τετράγωνων (GLS) • GLS θα είναιΑΓΑΕ(BLUE, Κεφ. 3 – Δ 28)σε αυτή την περίπτωση • GLS είναι μία διαδικασία σταθμισμένων ελάχιστων τετράγωνων (WLS) όπου κάθε τετραγωνισμένο κατάλοιπο σταθμίζεται με την αντίστροφο της Var(ui|xi)

17. Σταθμισμένα Ελάχιστα Τετράγωνα • Αν και μπορούμε να δούμε διαισθητικά γιατί ηεκτέλεσητων OLS σε μία μετασχηματιζόμενη εξίσωση είναι κατάλληλη, μπορεί να είναι δύσκολο να εκτελέσουμε τον μετασχηματισμό • Με γενικευμένα ελάχιστα τετράγωνα επιτυγχάνουμε το ίδιο πράγμα, χωρίς να κάνουμε μετασχηματισμό • Η ιδέα είναι να ελαχιστοποιήσουμε το σταθμισμένο άθροισμα τετράγωνων (σταθμίζοντας με 1/hi)

18. Σταθμισμένα Ελάχιστα Τετράγωνα WLS (συνεχεία) • WLS είναι κατάλληλα αν γνωρίζουμε την μορφή της Var(ui|xi) • Στις πιο πολλές περιπτώσεις δεν γνωρίζουμε την μορφή της ετεροσκεδαστικότητας • Στην περίπτωση που τα δεδομένα είναι αθροιστικά και μοντελοποιούμε σε ατομικό επίπεδο, γνωρίζουμε την μορφή της ετεροσκεδαστικότητας • Στην παραπάνω περίπτωση θέλουμε να σταθμίσουμε κάθε αθροιστική παρατήρηση με τον αντίστροφο αριθμό των ατόμων

19. Εφικτά Γενικευμένα Ελάχιστα Τετράγωνα • Ξαναθυμίζουμε ότι πιο τυπική είναι η περίπτωση στην οποία δεν γνωρίζουμε την μορφή της ετεροσκεδαστικότητας • Σε αυτή την περίπτωση, χρειάζεται να εκτιμήσουμεh(xi) • Τυπικά, ξεκινάμε με την υπόθεση ενός αρκετά εύκαμπτου μοντέλου, • Var(u|x) = s2exp(d0 + d1x1 + …+ dkxk) • Αφού δεν γνωρίζουμε ταd, θα πρέπει να τα εκτιμήσουμε

20. Εφικτά Γενικευμένα Ελάχιστα Τετράγωνα (συνέχεια) • Η υπόθεση μας υποδηλώνει ότι u2 = s2exp(d0 + d1x1 + …+ dkxk)v • Όπου E(v|x) = 1, τότε εάν E(v) = 1 • ln(u2) = a0+ d1x1 + …+ dkxk + e • Όπου E(e) = 0καιeείναι ανεξάρτητοx • Τώρα, γνωρίζουμε ότιûείναι ένας εκτιμητής τουu, έτσι μπορούμε να εκτιμήσουμε αυτό με OLS • Τις προσαρμοσμένες τιμές από την παραπάνω παλινδρόμηση τις συμβολίζουμε με

21. Εφικτά Γενικευμένα Ελάχιστα Τετράγωνα (συνέχεια) • Τώρα, ένας εκτιμητής τουhπετυχαίνεται ως ĥ = exp(ĝ), και ο αντίστροφος αυτού είναι η στάθμιση μας • Έτσι, τι πετύχαμε; • Τρέχουμε το αρχικό OLS μοντέλο, σώζουμε τα κατάλοιπα,û, τα τετραγωνίζουμε και παίρνουμε τους log • Παλινδρομούμε ln(û2) σε όλες τις ανεξάρτητες μεταβλητές και παίρνουμε τις προσαρμοσμένες τιμές, ĝ • Εκτελούμε WLS χρησιμοποιώντας 1/exp(ĝ) ως στάθμιση

22. WLS (συνέχεια) • Όταν εκτελούμε F τεστ με WLS, μορφοποιούμε τις σταθμίσεις από το μοντέλο χωρίς περιορισμούς και χρησιμοποιούμε αυτές τις σταθμίσεις για να εκτελέσουμε WLS στο μοντέλο με περιορισμούς όπως επίσης και στο μοντέλο χωρίς περιορισμούς • Θυμηθείτε ότι χρησιμοποιούμε WLS απλά για αποτελεσματικότητα - OLS είναι ακόμα αμερόληπτος και συνεπής • Οι εκτιμητές ακόμα θα είναι διαφορετικοί λόγω του δειγματικού σφάλματος, αλλά εάν είναι πολύ διαφορετικοί τότε πιθανώς κάποια άλλη υπόθεση παραβιάζεται

23. Eview Commands • Έλεγχοι για Heteroskedasticity -> Αφού κανετε παλινδρόμηση επιλεξτε στο νέο παράθυρο, Equation: …. View/Residual Tests/ Heteroskedasticity Tests…και επιλέξτε τον έλεγχο που θέλετε