Mælingar

1. Mælingar Stefán Hrafn Jónsson 3-3-2014 Aðferðafræði III

2. Muna eftir gögnum • Sækja um aðgang að gögnum sem allra fyrst

3. Yousay it best whenyousaynothing at all • Eitt augnarráð

4. Skipulag næstu vikna • Í dag, skilgreiningar og mælingar • Mat á áreiðanleika • Fimmtudag, • Mat á réttmæti • Þáttagreining, hugmyndir og aðgerðir • Næsta vika • Að keyra þáttagreiningu og atriðagreiningu • Túlkun

5. Skilgreiningar • Ef við skilgreinum ekki hvað við eigum við með lykilhugtökum í rökræðum er hætt við misskilningi og mistökum. • Ef við skilgreinum ekki það sem við ætlum að mæla í rannsóknarstarfi áður en við mælum fyrirbærið er hætt við að við mælum eitthvað annað en til stóð að mæla

6. Dæmi úr fréttum • Gunnar Andersen: Útrásarvíkingarnir voru kjánar  „Þröngsýnir sveitalubbar“ • Guðmann Jónasson (Blönduós) Fyrir hönd "sveitalubba" lýsi ég yfir vanþóknun á orðavali Gunnars. • Heimild: DV 26. febrúar 2013 og athugasemdakerfi • Ef Gunnar og Guðmann hefðu haft sama skilning (skilgreiningu) á hugtakinu „sveitalubbi“ er mögulegt að minna hefði verið deilt.

8. Hvað þýðir að styðja flokk? • Hvað þýðir að x% landsmanna styðja flokk?

9. Skilgreingar eru lykilatriði í mælingum

10. Margar rannsóknaraðferðir • Í þessu námskeiði er megináherslan spurningalistakannanir • Grunnhugmyndirnar eiga að nýtast ykkur í að lesa rannsóknargreinar með gagnrýnum huga og spyrja spurninga eins og: • Hvaða á hugtakið að mæla? • Hvernig er það hugtak skilgreint í rannsókninni? • Hvernig er aðgerðabindingin? • Er sú mæling sem fæst nægjanlega áreiðanleg og réttmæt nálgun á undirliggjandi hugtak?

11. Skilgreinum hugtakið sem við viljum mæla • Til þess að við vitum hvað við viljum mæla • Til þess að aðrir viti hvað við viljum mæla • Til að styðja við gerð mælitækis • Þar með að auka gæði mæling • Til að geta metið gæði mælinga • Til að niðurstöður séu skiljanlegar og trúverðugar

12. Skref mælingaeru skilgreind frá óhlutbundnu (abstract) að hlutbundnu (concrete) • Rannsóknartilgáta byggð á fyrri kenningum og rannsóknum • Hugtekning (conceptualization) • Hugtakasmíð, það sem ýmis atriði reu tekin saman vegna sambærilegra sérkenna (orðaskrá í uppeldis og sálarfræðí) • Þar sem óhlutbundin (abstract) hugmynd er tekin og bætt með því að koma fram með kenningalega og hugtakalega skilgreiningu • er aðfinnaupphugmyndeðaskýringu og setjahanafram á huglæganhátt. • The act or process of stating a precise meaning or significance; formulation of a meaning.

13. 3. Tilgreina breytur og mælingabreytur 4. Aðgerðabinding (operationalization) • Tilgreina þæraðgerðir sem nauðsynlegar eru til að magnbinda eiginleika hugtaks.

14. Skref 1. • Tilgáta sett fram á fyrri rannsóknum og kenningum. • Tilgáta: Menntun fólks minnkar fordóma.

15. Skref 2. Hugtekning • Hugtekning (conceptualization) • Dæmi úr kennslubók (Singletonofl.): Samband menntunar og fordóma • Menntun og fordómar eru bara orð yfir ákveðin hugtök • Til að mæla undirliggjandi hugtök menntunar og fordóma þarf að skilgreina vel hvað átt er við með þessum orðum • Menntunerumfangvitsmunalegrar og siðferðilsegrarþjálfunar og kunnáttu. • Education “The extent of one’s intellectual and moral training and knowledge”.

16. Dæmi • Menntun minnkar fordóma • Menntun og fordómar eru orð á hugtökum, hugtökum sem hafa mun dýpri og meiri merkingu en lýst er með þessum orðum. • Kenningarleg útlistun, með dæmum, (þ.e. hugtekning) stýrir þá rannsakanda við þróun mælinga • hugtekning auðveldar einnig lesanda að skilja hvað er átt við með þeim hugtökum sem notuð eru

17. Hugtekning • Þegar hugtök eru flókin getur þurft að greina þau niður í undirþætti • Menntun má skipta í formlega menntun (skólagöngu) og óformlega menntun • Fordóma má greina niður í neikvæðar tilfinningar, staðalmyndir og tilhneigingu til mismununar

18. Skref 3. Tilgreina breytur og mælibreytur (atriði) • Breyta tekur 2 eða fleiri tölugildi (eða texta/flokka) • T.d. kyn, hæð eða einkunn í áfanga í félagsráðgjöf Greind er dæmi um skilgreint hugtak Greind hefur tilgreinda breytu sem tekur mörg mæligildi (IQ, greindarvísitala) meðaltal er skilgreint 100 og staðalfrávik oft 15 Einnig þarf að tilgreina hvaða mælibreytur (atriði) eigi að vera á greindarprófinu

19. Fjöldi atriða • Mörg hugtök í félagsvísindum eru þess eðlis að það dugar ekki að hafa eina mælingu eða eina breytu til að mæla hugtakið. • Sjaldan nægjanlegt að hafa eina breytu til að mæla viðhorf, greind, stærfræðigetu eða einkunn í aðferðafræði

20. Skref 4. Aðgerðabinding • Skilgreining á hugtaki með skýrri tilvísun og útlistun á því hvernig það er mælt. Í því felst að skilgreining þau ferli sem raða tölum á breytur til að endurspegla skilgreint hugtak. • Operationalization (Aðgerðabinding) is the process of defining a concept as the operations that will measure the concept (variables) through specific observations.

21. Aðgerðabinding • Dæmi úr bakstri • Slæm (ónothæf) aðgerðabinding: Setja slatta af hveiti, sykri, egg, mjólk, lyftidufti og salti saman í skál og blandað og svo hitað við mikinn hita. • Nauðsynlegt að tilgreina nákvæmara magn hvers hráefnis, hvernig skal blanda þeim saman, hvað form er best, hvaða hiti og hversu lengi.

22. Hvernig metum við gæði mælinga? • Ófrávíkjanleg krafa að þekkja viðfangsefnið

23. Áreiðanleiki • Raungildið er dulið. Við vitum ekki raungildið heldur aðeins mæligildið • Hvernig getum við þá mælt dreifni raungildis? • Hvernig getum við þá mælt dreifni villu?

24. Mælingamódel Dulin breyta D 0,7 0,7 sp1 sp3 sp2 0,49 e1 e2 e3 Ef fylgnin á milli sp1 og sp2 er 0,49 og við gefum okkur það að fylgnin á milli D og Sp1 sé jöfn fylgninni á milli D og sp2 þá er fylgnin á milli D og sp1 0,7

25. Við notum fylgni á milli atriða (t.d. Prófspurninga ) til að geta okkur til um fylgni dulinnar breytu og atriða.

26. Mat á áreiðanleika • Með sígildu mælingakenningunni að vopni má meta áreiðanleika með nokkrum aðferðum • Intercoder reliability (inter rater reliability) Samkvæmni milli matsmanna • Test-retest (mat-endurmat) • Parellel forms (samhliða form) • Split-half (helmingaskipta áreiðanleiki) • Internal consistiency (innra samræmi) • Cronbacks Alpha stuðull er mat á innra samræmi (áreiðanleika kvarða)

27. Samkvæmni milli matsmanna • Þegar tveir matsmenn nota sömu aðferð (mælitæki) til að meta og skrá einkenni t.d. fólks, dýra, innihaldsgreining dagblaða o.fl., getur komið fram villa frá hverjum matsmanni • Fyrir próf þarf ekki að kunna að reikna Kappa eða percent agreement • Inter rater reliability metur hversu gott samræmi er á milli matsmanna • Percent agreement (hversu oft er samræmi) • Kappa (tekur til greina að matsmenn geta verið sammála fyrir tilviljun)

28. Dæmi um Kappa og Percent agreement Percentagreement Kappa = 1,0 Percentagreement

29. Test-retest Mat-endurmat • Við framkvæmum mælingu á sama hóp einstaklinga tvisvar sinnum með hæfilega löngum tíma á milli • Ef mælingin er nákvæm ætti hún að mæla það sama í bæði skiptin • Fylgnin á milli mælinga gefur til kynna áreiðanleika mælingar • Ef áreiðanleikinn er enginn er fylgnin 0,0 • Ef mæling er fullkomlega áreiðanleg er fylgnin 1,0 • Oft miðað við að fylgni minni en 0,8 sé óásættanleg, nokkuð misjafnt hvaða mörk eru sett • Erfitt (jafnvel ógerningur) að nota test-retest ef einkenni/eiginleiki sem mæla á breytist (mikið) yfir tíma • Fólk getur einnig munað hverju það svaraði í fyrra skiptið og reynt að svara til að sýna samræmi. Slíkt ofmetur áreiðanleika þar sem mat okkar á ókerfisbundinni villu í mælingum minnkar.

30. MælingamódelMat-endurmat - test retest Dulin breyta Viðhorf T=true score X1 Atriði 1 X2 Atriði 2 X3 Atriði 3 X1 Atriði 1 X2 Atriði 2 X3 Atriði 3 e3 e1 e2 e3 e1 e2 Lagt fyrir á tíma 1 Lagt fyrir á tíma 2

31. Vilji til að sýna samræmi MælingamódelMat-endurmat - test retest Dulin breyta Viðhorf T=true score T1 Kvarði Viðhorf á tíma 1 T2 Kvarði Viðhorf á tíma 2 eT1 eT2 Villa á tíma 1 Villa á tíma 2 Fylgni á milli T1 og T2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

32. Parallel-Forms ReliabilitySamhliða form • Einnig kallað Alternate forms • Tvær útgáfur af kvarða sem (eiga að) mæla sama hugtak, að öðru leiti sjálfstæðar, þ.e. mismunandi atriði í hvorri mælingu • Áreiðanleikinn mældur með því að reikna fylgnina á milli mælinga • Svipað og test-retest nema að kvarðinn og atriðin eru ekki alveg eins heldur er um að ræða ný atriði sem eiga að mæla það sama

33. Mælingamódelalternate form Dulin breyta Viðhorf T=true score X1 Kvarði1 (samsettur) Viðhorf Útgáfa 1 X2 Kvarði2 (samsettur) Viðhorf útgáfa 2 e1 e2 Villa útgáfa 1 Villa útgáfa 2 Fylgni á milli x1 og x2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

34. Split-half reliabilityHelmingaskipta áreiðanleiki • Svipar til alternate form • Í stað tveggja fyrirlagna þá er lagður fyrir einn kvarði með mörgum atriðum • Áreiðanleikinn mældur með því að reikna fylgnina á milli helminga • T.d. 10 atriði saman í kvarða á móti öðrum 10 atriðum í sömu mælingu. Fylgni reiknuð á milli undirkvarðanna tveggja • Hvaða atriði eru valin saman? • Skipt til helminga eftir tilviljun • Þannig getum við fengið mismikla fylgni eftir atvikum/hvernig var skipt

35. MælingamódelSplit-half Dulin breyta Viðhorf T=true score H1 Kvarði Viðhorf Helmingur 1 H2 Kvarði Viðhorf Helmingur 2 e1 e2 Villa útgáfa 1 Villa útgáfa 2 Fylgni á milli x1 og x2 er mat á áreiðanleika. Ef villan er mikil er fylgnin lítil.

36. Internal consistencyÁreiðanleiki byggt á innra samræmi • Áreiðanleiki metinn með því að reikna meðal fylgni milli allra atriða. • Meðaltalsfylgnin er mat á áreiðanleika • Önnur útgáfa er að reikna fylgni hvers atriðis við öll hin atriðin saman í einum kvarða • Mælingalíkanið er mjög svipað og áður

37. Coefficient Alpha- Cronbachs alpha Alpha áreiðanleikastuðull • Einna mest notaður af áreiðanleikastuðlum • Oft kenndur við Cronbach og þá kallaður Cronbach’s alpha • Ef atriði eru tvíflokkabreyta þá er notuð önnur formúla • Kuder-Richardson formúla 20 ( KR-20 ) • Hægt að reikna alpha annars vegar með samdreifnifylki (variance covariance matrix) og hins vegar fylgnifylki. • Alpha er meðaltal allra mögulegra helmingunaraðferða • Ef reiknað alpha er negatíf tala eða hærra en 1,0 er eitthvað mikið að gögnunum • Ekki er fjallað um alpha í Singleton. • DeVillis og Field fjalla um alpha í sínum bókum.

38. Cronbach's α (alpha) Fyrri formúla Hér er N fjöldi atriða Erdreifnimæligildis Er dreifni mælibreytu (atriðis) númer i Leggja saman dreifni þessara N mælibreyta. Summa frá og með 1. til og með síðustu (N) mælibreytu

39. Cronbach's α (alpha) Seinniformúla Standardized Cronbach's α Hér er N fjöldi atriða, ekki einstaklinga Er meðal fylgni milli allra atriða í kvarða http://www.youtube.com/watch?v=g5sxM9hgC3E&feature=related

40. Alpha • Standardized alpha setur sama vægi á öll atriði óháð dreifni • Venjuleg Chronback alpha lætur atriði með mikla dreifni vega meira en atriði með litla dreifni • Venjuleg Chronback alpha er oftast notað nema sérstök ástæða sé til að velja Standardized útgáfuna • Ef dreifnin er jöfn gefa báðar formulur nánast sömu gildi • Tilhneiging til að standardized alpha gefi hærri tölu, en oftast er munurinn lítill

41. Nokkur orð um alpha • Það er hægt að hækka alpha með því að fjölga atriðum jafnvel þó fylgni á milli atriða sé ekki mjög há • Það þarf alltaf að kanna hvort spurningar snúi rétt (sjá wordskjal-kemur síðar) • Stundum þarf að endurraða svarmöguleikum áður en spurningar eru slegnar saman • Alpha gerir ráð fyrir að kvarði mæli eina undirliggjandi vídd því þarf oft að keyra þáttagreiningu áður. • Ljóst ætti að vera að Alpha áreiðanleikastuðull er aðeins notaður á samsettar mælingar (þ.e. kvarða)

42. Dæmi um prófspurningu Standardized Cronbach's α Seinni formúla Hér er N fjöldi atriða Er meðal fylgni milli allra atriða í kvarða Rannsakanadi er með 8 atriða kvarða þar sem meðalfylgni á milli atriða er 0,7 hversu hár er áreiðanleikinn miðað við standardized cronbachs alpha Lausn: (8*0,7)/ (1+7*0,7) =0,949

43. Að auka áreiðanleika • Gerðu forkönnun • Taktu viðtöl við fólk eftir að það svarar spurningalistanum • Bættu við atriðum, lengri kvarðar eru oftast með meiri áreiðanleika • Farðu betur í gegnum skilgreiningar og fræðilegan bakgrunn • Kannaðu hvað aðrir hafa gert • Bættu orðalag spurninga • Bættu fyrirmæli í spurningalistanum • Atriðagreining • Þá má sjá hvaða atriði greina á milli fólks • Velja atriði með mikla dreifingu, ef allir geta svarað spurningu á prófi er spurningin ekki að auka á áreiðanleika • Velja atriði sem hækka áreiðanleika kvarða • Hafna atriðum sem lækka áreiðanleikann

44. Hvernig mælum við t.d? • Greind • Námsáhuga • Viðhorf til vændis • Viðhorf til ______ • Hvatvísi • Árásargirni • Hjálpsemi • Heilsu • Líðan • Depurð • Fátækt • Streitu

45. Réttmæti Réttmæti snýst um hvort við séum að mæla það sem við ætlum okkur að mæla Ef eitthvað annað en sanngildi hefur áhrif á mæligildið þá erum við ekki eingöngu að mæla það sem við ætlum okkur að mæla Við gætum verið að mæla það sem við viljum og eitthvað annað, óskylt eða skylt Hvort heldur sem það er skylt eða óskylt þá höfum við mengað mælinguna okkar, minnkað réttmætið

46. Næstu glærur

47. Réttmæti Hvernig metum við réttmæti? Flóknara að meta réttmæti en áreiðanleika Nokkrar leiðir til að meta réttmæti Huglægt mat réttmætis: (e. Subjective validity) Yfirborðsréttmæti (e. face validity) Innihaldsréttmæti (e. content validity) Mat réttmætis með fylgnisamböndum. Hugtakaréttmæti (e. construct validity) Viðmiðsréttmæti/forspárréttmæti (e. criterion-related validity)

48. Subjective validity • Talað er um að yfirborðsréttmæti (e. face validity) og innihaldsréttmæti (e. content validity) sé huglægt mat á réttmæti og því síðra en viðmiðsréttmæti.

49. Réttmæti • Yfirborðsréttmæti - Face validity snýst um það þegar spurningar eða atriði í mælingu virðast vera að mæla það sem þeim er ætlað að mæla. Þá eru spurningar eða atriði prófs eða kvarða í heild er lesin með gagnrýnu hugafari og rannasakandi spyr sig og aðra spurninga eins og “Er þetta langa orðadæmi virkilega að mæla reiknigetu þeirra nemenda sem prófið mun vera lagt fyrir” Þekking á viðfangsefninu er mikilvægt til að meta yfirborðsréttmæti. Yfirborðsréttmæti er metið með úrskurði sem ekki felur í sér tölugildi heldur lýsingar eins og: „lélegt yfirborðsréttmæti”

50. Réttmæti • Innihaldsréttmæti (content validity) er svipað og yfirborðsréttmæti að því leiti að það byggir á mati rannsakanda og/eða ráðgjafa hans. • Hversu vel ná atriði prófs/kvarða yfir sem breiðast svið þess sem á að mæla. • Reikningspróf er með lítið eða lélegt innihaldsréttmæti ef prófið er aðeins með samlagningardæmi þegar það ætti einnig að mæla frádrátt. Yfirborðréttmæti hvers atriðis getur verið gott en prófið í heild skortir meiri fjölbreytileika. • Á sama hátt getur innihaldsréttmæti kvarða sem mælir viðhorf til fóstureyðinga verið lélegt ef aðeins er spurt um atriði sem snúa að viðhorfum til fóstureyðinga þegar félagslegs staða móður/foreldra er bágborin en ekkert um það þegar líf og heilsa móður er í hættu. • Mæling er sögð vera með lítið innihaldsréttmæti ef hún er ekki að mæla hugtakið á nægjanlega víðtækan hátt þó svo það sem mælt er sé vissulega að mæla hluta af því sem mæla á.