Kvantitativ dataanalyse: Prinsipper og eksempler

1. Kvantitativ dataanalyse:Prinsipper og eksempler Frode Svartdal Universitetet i Tromsø/Rogaland høgskole 2010

2. Tilnærming? • Kvalitativ? Kvantitativ? • Diskuteres ikke her • Tar for gitt: • Kvantitativ tilnærming er svært mye brukt • Statistikk er et svært nyttig redskap i forskning

5. Folketall og storkebestand for hvert år i perioden 1930-1936 i Oldenburg

6. Statistikk Typiske anvendelser • Beskrive og oppsummere data fra et utvalg • Eksempel: Tabeller, gjennomsnitt, osv. • Teste hypoteser (dvs. trekke slutning fra et utvalg til en populasjon) • Eksempel: Gruppeforskjeller • Gjøre analyser i data for å avdekke mønstre eller strukturer • Eksempel: Hvilke personlighetstrekk hører sammen?

7. Eksempel 1: Beskrivelse av data • 12,4 24,3 23,5 35,7 30,6 16,0 28,4 25,2 31,2 31,6 31,8 32,1 31,3 31,8 20,7 25,4 19,7 31,7 25,3 19,4 31,5 32,0 27,5 31,5 29,4 31,5 31,2 31,4 • N = 29 • Gjennomsnitt: 27,1 • Standardavvik: 5,64 • Min: 12,4 • Max: 35,7

8. Eksempel 2: Slutning • Har tiltak X effekt i reduksjon av atferdsproblemer? • Gruppe 1: Tiltak X, 267 deltakere • 260 OK, 7 problemelever • Gruppe 2: Intet tiltak, 316 • 300 OK, 21 problemelever • Dvs: Vi forsøker å si noe generelt ut fra utvalget • Chi-square (df=1) = 4,94, p= 0,026 • Ja, tiltak X har effekt --- forutsatt at vi har gjort undersøkelsen korrekt • Kritisk her: ???

9. Eksempel 3: Slutning Eksamensresultater (% av max skåre) på Flervalg og Essay Er det sammenheng mellom karakterene?

10. Eksempel 4: Slutning Er nivåene forskjellige?

11. Eksempel 5: Meta-analyse • Statistisk prosedyre for å oppsummere funn fra allerede gjennomførte undersøkelser • Viktig redskap for å trekke konklusjoner der enkeltundersøkelser ikke tillater en entydig konklusjon, for eksempel • noen studier viser forventet effekt • noen studier viser motsatt effekt • noen viser 0 effekt

12. Meta-analyse Områder der meta-analyser anvendes: • Virker en bestemt terapi-metode? • Virker kognitiv atferdsterapi? • Virker en bestemt klinisk behandlingsteknikk? • Jfr. evidensbasert medisin • Hva sier egentlig forskning om en bestemt problemstilling som har vært mye studert? • Er effekten av belønning positiv (jfr. undermining)?

13. Tre aspekter ved et empirisk prosjekt • Før undersøkelsen • Problemstilling • Hva sier tidligere forskning? • Selve undersøkelsen • Metode, design • Type data, analyse • Etter undersøkelsen • Klare konklusjoner mulig? • Relasjon til tidligere funn • Implikasjoner (teorietisk, praktisk) • Behov for oppfølgende undersøkelser? Orientere seg i litteratur, utmeisle problemstilinger Hvordan kan denne problemstillingen undersøkes? Hva var det vi fant? Presentasjon (artikkel) Hva nå (må vi gå runden på nytt?)

14. Empirisk prosjekt - statistikk • Dataanalyser med et statistikkprogram er et av flere ledd i forskningsprosessen • Det er ikke dataanalysene som gjør prosessen til en forskningsprosess • Det å "bruke et statistikkprogram" krever en forståelse av hva man gjør • Det er ikke noe i veien for å prøve seg frem på eksempler, men man kommer ikke langt uten en froståelse av det statistiske grunnlaget for de analyser man gjennomfører. Statistikkprogrammet er et redskap, og som ellers er må et redskap brukes med vett

15. Empirisk prosjekt - statistikk • Skill mellom resultater og funn • Resultatene fremkommer som en mekanisk (men ofte kompleks) regneoperasjon på de tallene vi legger inn i statistikkprogrammet; funn er vår tolkning av resultatene. F.eks. kan vi beregne samvariasjonen (korrelasjonen) mellom helse og inntekt ("vi fant en korrelasjon på 0,46 mellom disse variablene"), men hva dette betyr kan ikke statistikkprogrammet fortelle oss • Statistisk signifikans sier noe om et resultat er reliabelt • Ville man fått samme resultat om man hadde gjennomført undersøkelsen på et annet utvalg fra samme populasjon?), ikke hvor interessant det er

16. Empirisk prosjekt - statistikk • Mange analyser bygger på bestemte forutsetninger • Dette kan angå målenivå, det kan angå krav om normalfordeling, osv. • En grafisk fremstilling av resultatene kan ofte være informativ

17. Noen viktige begreper i statistikk • utvalg, populasjon • n (antall deltakere) i utvalget • Effektstørrelse • Signifikans • …

18. Noen viktige metodebegreper • Design • Typer undersøkelser • Beskrivende • Korrelasjonell • Eksperimentell • Korrelasjon (samvariasjon) • Kausalitet (årsak-virkning)

19. Effektstørrelse • Effekt viser til ”the degree to which a phenomenon exists” (Cohen, 1977) • Hvor stor er en gruppeforskjell? • Hvor sterkt samvarierer to variabler? • Hvor mange av de som får behandling blir friske, sammenlignet med en kontrollgruppe som ikke får behandling?

20. Effektstørrelse • Flere måter å beregne effektstørrelse på • Rate differences, odds ratios, relative risks, mean differences, correlations • Flere betegelser på effektstørrelse • ES, d, r • Vanlig fortolkning av d • Liten = 0,20 • Medium = 0,50 • Stor = 0,80 • Fortolkningen kan variere noe fra område til område

21. Effektstørrelse: Eksempel For to gruppegjennomsnitt: • ART: 10 Kontroll: 16 • Standardavviket (variasjon i skårene rundt gjennomsnittet) = 8 i kontrollgruppen • Effektstørrelse (ES): (10 – 16) / 8 = 0,75 • Dvs. Målt i forhold til standardavviket, skårer ART 0,75 høyere enn kontroll • Viktig: Jo mer variabilitet i skårene (=høyere standardavvik), desto mindre effektstørrelse

22. Signifikans • Signifikans • Hvor reliabelt er resultatet (ville vi fått samme utfall hvis vi hadde testet et nytt utvalg fra samme populasjon)? • Signifikans sier ikke nødvendigvis noe om hvor viktig et funn er • Effektstørrelse • Hvor “stor” er effekten

23. n (antall deltakere) • Undersøkelse 1: n = 16 • ART: 8 • Kontroll: 8 • Undersøkelse 2: n = 50 • ART: 25 • Kontroll: 25 • Konklusjon fra undersøkelse 1 er sannsynligvis sikrere enn fra undersøkelse 2; hvorfor?

24. n • Power: Kan undersøkelsen oppdage en effekt hvis den faktisk er der? • n er viktig: Få deltakere reduserer power, mange deltakere øker power • Hvor mange? • Hvis små gruppeforskjeller  øk n • Hvis stor variasjon innen gruppene  øk n

25. Et par gode kilder • Kvaløy: Bruk statistikk riktig! • http://www.ux.his.no/~jtk/statmet/Rettbruk.pdf

26. Pitfalls of Data Analysis (or How to Avoid Lies and Damned Lies) • Be sure your sample is representative of the population in which you're interested. • Be sure you understand the assumptions of your statistical procedures, and be sure they are satisfied. In particular, beware of hierarchically organized (non-independent) data; use techniques designed to deal with them. • Be sure you have the right amount of power--not too little, not too much. • Be sure to use the best measurement tools available. If your measures have error, take that fact into account. • Beware of multiple comparisons. If you must do a lot of tests, try to replicate or use cross-validation to verify your results. • Keep clear in your mind what you're trying to discover--don't be seduced by stars in your tables; look at magnitudes rather than p-values. • Use numerical notation in a rational way--don't confuse precision with accuracy (and don't let the consumers of your work do so, either). • Be sure you understand the conditions for causal inference. If you need to make causal inference, try to use random assignment. If that's not possible, you'll have to devote a lot of effort to uncovering causal relationships with a variety of approaches to the question. • Be sure your graphs are accurate and reflect the data variation clearly. http://my.execpc.com/~helberg/pitfalls/