Kvantitative metoder 2

1. Kvantitative metoder 2 Inferens i den lineære regressionsmodel 7. marts 2007 Kvantitative metoder 2: Inferens i den lineære regressionsmodel

2. Opgave fra sidst (Gauss-Markov teoremet) • Opgave: • Vis at hvis Kvantitative metoder 2: Inferens i den lineære regressionsmodel

3. Oversigt: de næste forelæsninger • Statistisk inferens: Det drejer sig om at man med udgangspunkt i en statistisk model kan drage konklusioner på grundlag af data. Dette indebærer blandt andet estimation af parametre samt metoder til afprøvning af statistiske hypoteser. • Simulationseksperimenter (Note på hjemmesiden) • Ideen med at lave simulationseksperimenter • Opbygning af en simulationsalgoritme • Eksempel: Den forventede startløn for en økonom • Resultater om OLS med endeligt antal observationer (kap. 4): • Normalitetsantagelse (MLR.6). • Test af en enkelt lineær restriktion på koefficienter i lineær regressionsmodel. • Asymptotiske resultater for OLS: (kap. 5). • Test af flere lineære restriktioner (kap. 4.5 og 5.2). • Efficiens (kap 5.3 og B&L 9.12) Kvantitative metoder 2: Inferens i den lineære regressionsmodel

4. Hvorfor simulationseksperimenter? • Ideen med at introducere simulationseksperimenter i Kvantitative metoder 1 og 2 er at kunne illustrere vigtige statistiske begreber • Simulationseksperimenter er ikke dækket af Wooldridge, så derfor benyttes en note (se hjemmesiden) • Konkret kan vi vise at OLS estimatoren har en fordeling • Simulationseksperimenter vil også optræde til øvelserne Kvantitative metoder 2: Inferens i den lineære regressionsmodel

5. Monte Carlo eksperimenter: Ideen • Simulationer af ”datasæt” fra en fuldt specificeret model: Datagenererende proces (DGP) • Eksempel: • Vi kender de "sande parametre" og . Genererer et sæt af fx n=100 observationer fra modellen: • ”Glemmer” at vi kender og : Anvend estimator (”regneregel”) til at skønne over fx ud fra et konkret (men kunstigt) sæt af observationer: • Fx gennemsnittet: Kvantitative metoder 2: Inferens i den lineære regressionsmodel

6. Monte Carlo eksperimenter: Ideen (fortsat) • Kan vi på en nem måde vurdere, om er en ”rimelig” estimator for ? • Lav ny uafhængig trækning af datasæt genereret af den samme DGP. • Beregn værdien af estimatoren for hvert datasæt: • Lav mange uafhængige trækninger (”replikationer”). • Se på fordelingen af estimaterne over replikationerne: Beregn fx fordelingens gennemsnit og varians. • Parallel til ”tankeeksperimentet”: Vores konkrete faktiske datasæt er blot ét blandt mange potentielle udfald. Kvantitative metoder 2: Inferens i den lineære regressionsmodel

7. Monte Carlo eksperimenter: Ideen (fortsat) • Formål med Monte Carlo eksperimenter: • Efterprøve analytiske resultater: Fx at OLS er middelret under MLR.1-4. • Sammenligne forskellige estimatorer eller test, hvor det er besværligt/umuligt analytisk. • Vurdere hvor mange observationer der skal til for at man kan bruge asymptotiske resultater i praksis (kap. 5). Kvantitative metoder 2: Inferens i den lineære regressionsmodel

8. Monte Carlo eksperimenter: Eksempel • DJØFs hjemmeside www.djoef.dk: ”Vejledende startløn” for en privatansat, nyuddannet økonom er kr. 29.500 om måneden. • Antag: • Startlønninger er uafhængige og normalfordelte. • Sand middelværdi i lønfordelingen er kr. 29.500. • Sand lønfordeling har standardafvigelse på kr. 1.500. • Hermed er lønfordelingen fuldt specificeret. • Simulere en situation, hvor der indhentes en tilfældig stikprøve af n=100 startlønninger. Kvantitative metoder 2: Inferens i den lineære regressionsmodel

9. Monte Carlo eksperimenter: I praksis ProcIML; antalobs = 100; mu = j(antalobs,1,29.5); seedvct = j(antalobs,1,1) ; seedvct = 117*seedvct ; e = normal(seedvct) ; y = mu + 1.5 * e ; quit; Kvantitative metoder 2: Inferens i den lineære regressionsmodel

10. Monte Carlo eksperimenter: I praksis (fortsat) m1est=sum(y)/antalobs; * estimatet m1 (gennemsnittet); m2est=1/2*(min(y)+max(y)); * estimatet m2 (gns. min og max); Kvantitative metoder 2: Inferens i den lineære regressionsmodel

11. Monte Carlo eksperimenter: I praksis (fortsat) Trin 3: Gentag trin 1 og 2: M=10.000 replikationer: antalrep = 10000; * antal replikationer i simulationen; m1 = j(antalrep,1,.); * vektorer til at gemme estimaterne i; m2 = j(antalrep,1,.); do j=1 to antalrep; * løkke over simulationer; . <her beregnes estimater for hvert datasæt> . end; Trin 4: Analysér fordelingerne af de to sæt estimater: • Histogram • Gennemsnit, varians, højere momenter Kvantitative metoder 2: Inferens i den lineære regressionsmodel

12. Monte Carlo eksperimenter: Eksempel • Brug algoritmen til at analysere og som estimatorer for middelværdien i fordelingen af startlønninger. • Simulere telefoninterviews med tilfældigt udvalgte, nyuddannede økonomer, som oplyser (?) deres startløn. • SAS-programmet MC.sas udfører M=10.000 replikationer. Se på n=100, n=50 og n=10. • Link til SAS Kvantitative metoder 2: Inferens i den lineære regressionsmodel

13. Monte Carlo eksperimenter: Eksempel (fortsat) Middelværdi og varians af de to estimatorer baseret på M=10.000 simulationer • har lavest varians • Varians aftager medn Kvantitative metoder 2: Inferens i den lineære regressionsmodel

14. Monte Carlo eksperimenter: Afrunding • Husk: • Resultater og konklusioner fra Monte Carlo eksperimenter afhænger potentielt af de valgte parametre og fordelinger. • I praktiske anvendelser må man i hvert enkelt tilfælde godtgøre, at den valgte model har relevans for den problemstilling, man ønsker at belyse. Kvantitative metoder 2: Inferens i den lineære regressionsmodel

15. Hypotesetest i den lineære regressionsmodel: Endelige stikprøver (kap. 4) • For hypotesetest behøver vi fordelingen af . • Introducere yderligere antagelse: Normalitet. • MLR.6: u er uafhængig af og normalfordelt med middelværdi nul og varians . • Definerer den klassiske lineære model (CLM). • Restriktiv antagelse: • Argument for: u opsamler alle de mange effekter der er udeladt af modellen: Central grænseværdisætning køres i stilling. • Argumenter imod i konkrete problemstillinger: Begrænsede variabler (positive!), andre typer af fordelinger (log-normal, diskrete). Kvantitative metoder 2: Inferens i den lineære regressionsmodel

16. Fordeling af OLS estimatoren: Endelig stikprøve • Linearitet af i u og CLM giver følgende resultat: • Theorem 4.1: Under CLM antagelserne og betinget på gælder at hvor Heraf følger: Kvantitative metoder 2: Inferens i den lineære regressionsmodel

17. Fordeling af OLS estimatoren: Endelig stikprøve (fortsat) • Theorem 4.1 indeholder den ukendte parameter , derfor ikke umiddelbart operationel. • Erstattes af kan man vise at der gælder følgende resultat: • Theorem 4.2: Under CLM antagelserne og betinget på gælder at • hvor k+1 er antal regressorer i modellen inkl. konstantled. • t-fordelingen går mod N(0,1) når antallet af frihedsgrader vokser. Fin approximation hvis større end 120. Kvantitative metoder 2: Inferens i den lineære regressionsmodel

18. Hypotesetest: Restriktion på en enkelt koefficient • Betragt en nulhypotese om en regressionskoefficient: , hvor a er en konstant. • Under nulhypotesen påstår vi altså en bestemt værdi af en parameter i den sande model. • Analogt til at specificere en parameter i DGP’en for et Monte Carlo eksperiment. • Tænk på nulhypotesen som DGP’en for et tankeeksperiment: Givet denne værdi af kender vi fordelingen af . • Bruge afvigelsen mellem estimatet, og den postulerede værdi, a, til at vurdere gyldigheden af nulhypotesen. Kvantitative metoder 2: Inferens i den lineære regressionsmodel

19. Hypotesetest: Restriktion på en enkelt koefficient • t-testet for er givet ved • og er fordelt som under nulhypotesen. • Alternativhypotesen: • Ensidede alternativer:eller • Tosidet alternativ: • Ex. Afkast af uddannelse: Hypotese om • Nulhypotese: • Relevant alternativ: Kvantitative metoder 2: Inferens i den lineære regressionsmodel

20. Hypotesetest: Restriktion på en enkelt koefficient • Klassisk teststrategi: • Vælg signifikansniveau: Sandsynlighed for at afvise nulhypotesen, givet at den er sand. Typisk vælges 5 %. • Vælg alternativhypotese: Bestemmer den kritiske region, givet signifikansniveauet. • Beregn teststatistik. • Afvis nulhypotesen hvis testet er i den kritiske region. • Afvis ellers ikke. • Alternativ: Beregn p-værdi: Marginale signifikansniveau som ville betyde at nulhypotesen netop ville blive afvist. Kvantitative metoder 2: Inferens i den lineære regressionsmodel

21. Hypotesetest: Restriktion på en enkelt koefficient • Typiske eksempler: • a=0: Standard signifikanstest. • a=1 eller a=-1: Test af homogenitet eller proportionalitet. • Konfidensinterval: Givet signifikansniveau, , fx 5 %. Så er 100- % konfidensintervallet givet ved: • Konstrueres intervallet således vil det i 100- % af udfaldene rumme den sande værdi. Nulhypoteser om værdier udenfor vil således blive afvist. • Skitsér på tavlen. Kvantitative metoder 2: Inferens i den lineære regressionsmodel

22. Hypotesetest: Eksempel: Lønrelationen Afhængig variabel: log(timeløn) Kilde: Output fra SAS-programmet lon_udd2.sas Kvantitative metoder 2: Inferens i den lineære regressionsmodel

23. Generel lineær restriktion • Nulhypotese på linearkombination af koefficienter: • Involverer flere koefficienter, men stadig kun en restriktion (et lighedstegn). • Ex. Produktionsfunktion af Cobb-Douglas typen med arbejdskraft (L), kapital (K) og uobserverbare faktorer (U): I log-transformerede størrelser: Test antagelse om konstant skalaafkast: Kvantitative metoder 2: Inferens i den lineære regressionsmodel

24. Generel lineær restriktion (fortsat) • Hypotesen er af formen: ”Linearkombination af koefficienterne er lig med konstant”. • Estimere , men hvad med ? • Omparameterisere modellen: • OLS af • I reparameterisering er hypotesen direkte en restriktion på koefficienten til : Kald den fx • Test restriktionen vha. t-stat. på • Hvis CLM opfyldt så eksakt t-fordelt. Kvantitative metoder 2: Inferens i den lineære regressionsmodel

25. Næste gang • Aflevering af obligatorisk opgave • Test af flere restriktioner W. kap. 4.5 • Asymptotiske resultater W. kap 5.1-5.3 og B&L kap 9.12 • Konsistens • Efficiens Kvantitative metoder 2: Inferens i den lineære regressionsmodel