1 / 63

Kvantitatiiviset tutkimusmenetelmät

Kvantitatiiviset tutkimusmenetelmät. Luento 3 Mittaaminen ja tutkimuksen arviointi Kaisu Puumalainen. Tutkimuksen arviointi ja virheet. Hyvän tutkimuksen ominaisuuksia. Rigour Hyvä tieteellinen käytäntö niin toteutuksessa kuin raportoinnissa

creda
Télécharger la présentation

Kvantitatiiviset tutkimusmenetelmät

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Kvantitatiiviset tutkimusmenetelmät Luento 3 Mittaaminen ja tutkimuksen arviointi Kaisu Puumalainen

  2. Tutkimuksen arviointi ja virheet

  3. Hyväntutkimuksenominaisuuksia • Rigour • Hyvätieteellinenkäytäntöniintoteutuksessakuinraportoinnissa • http://www.tenk.fi/hyva_tieteellinen_kaytanto/kaytanto.html • http://www.aomonline.org/aom.asp?ID=268&page_ID=240 • Validiteettijareliabiliteetti • Relevance • Tutkimuksella on merkitystä • Ei nollatutkimusta • Käytännön relevanssi ja tieteellinen relevanssi

  4. Virheitä voi tulla joka vaiheessa käsitteellistäminen käsitteet ilmiö operationalisointi kohderyhmän määrittely muuttujat mittaaminen tulokset otos datamatriisi kohderyhmä analyysi tiedonkeruu otanta

  5. Kohderyhmänmäärittelyjaotanta • Valittu kohderyhmä ei palvele tutkimuksen tavoitetta • Valintavirhe (selectionbias eli survivorbias) • Perusjoukon määrittelyvirhe • Otantakehyksen virheet ja puutteellisuudet • Liianpieni (tai suuri) otos • Vääräinformantti • Otantavirhe (sampling error) on virhe, jokaliittyyainaotantaanjajokaotetaanhuomioontilastollisessaanalyysissa (laskemallaotoksestasaatujenestimaattienkeskivirheitä, luottamusvälejäjatilastollisiatestejä)

  6. Tiedonkeruuvirheet • Tutkijan virheitä • kysymys esitetään väärin, seurauksena esim. vinot jakaumat, keskittyneisyys tai halo effekti • vastaus tallennetaan väärin • häirintä tiedonkeruutilanteessa • Vastaajan vastausvirheet • tahalliset • Tahattomat • vastaamattomuusvirhe

  7. Vastausvirheet • tahattomat • ei tiedä /muista vastausta/ ei osaa muotoilla oikein • Common method/sourcevariance/bias (jos kaikki kysymykset kysytään samalla tavalla samoilta henkilöiltä niin vastauksissa ilmenee näennäistä, pelkästä kysymystavasta johtuvaa korrelaatiota, voi todeta Harman’in testillä ja välttää käyttämällä useita eri informantteja tai kysymällä eri aikoina) • Vastaustyylit (esim. agreementbias, vastaaja on kaikesta samaa mieltä, ARS/DARS, ExtremeRS, RRange, MidPointR) • tahalliset • haluaa antaa sosiaalisesti hyväksyttäviä vastauksia (social desirability, Crowne&Marlowe 1964) • haluaa ”kaunistella” tilannettaan • Haluaa tehdä kiusaa • hutiloi, on väsynyt

  8. Vastaamattomuusvirheet(non-response bias) • kaikki eivät vastaa ollenkaan, alhainen vastausprosentti • kannusteet • uusinnat • informointi etukäteen • vastaamatta jättäneiden analysointi • Aikaisten ja myöhäisten vastaajien vertailu • epätäydelliset vastaukset • Hyödynnä, jos suurin osa kysymyksistä on vastattu ja hylkää kokonaan jos suurin osa puuttuu • Puuttuvien arvojen imputointi

  9. Analysointivirheet • Väärä tai liian heikko tilastollinen testi • Tulosten väärät tulkinnat • Huolimattomuus (esim. outlier-tarkastelut) • Mallien väärä spesifiointi • Ylisovittaminen (overfitting, mallissa on liikaa muuttujia suhteessa havaintojen määrään, johtaa hyvään sopivuuteen otoksessa mutta heikkoon yleistettävyyteen) • Johtopäätösten on oltava linjassa analyysitulosten kanssa

  10. Mittaaminen

  11. Mittaaminen • Yleistä • Mittarin kehittämisprosessi ja vaiheiden yksityiskohdat • Kirjallisuutta aiheesta • Esimerkki ja reliabiliteetin arviointi SAS-ohjelmistolla

  12. Yleistä mittaamisesta • Tieteellisen tutkimuksen tavoitteena teorian kehittäminen • Teoria muodostuu käsitteistä ja niiden välisistä yhteyksistä (käsitteet, typologiat, suhteet) • Monet käsitteet ovat hypoteettisia: ei vastinetta fysikaalisessa maailmassa (älykkyys, sitoutuminen) • Jotta tiede edistyisi, teorioiden (epä)pätevyys on todistettava • Empiirinen tutkimus onnistuu vain, jos käsitteet on määritelty ja operationalisoitu

  13. Miksi operationalisoinnilla on väliä? • operationalisointi = millä indikaattoreilla mitataan käsitettä, ja miten tieto kerätään ja analysoidaan • data, jota keräämme on mittauksen tulos – se ei ole välttämättä todellinen arvo tai määrä käsitettä • todellinen (käsite) = aineistosta saatu (mittari) + virhe • virhe (error, bias) voi olla satunnaista tai systemaattista • mittaamiseen liittyy aina virhettä, mutta tulisi pyrkiä mahdollisimman lähelle todellista

  14. Yhdistetty mittari vai yksittäinen muuttuja? • jos käsite on abstrakti, vaikeasti havaittava ja monitahoinen, niin yhdistetty on parempi Multi-item Measures Single-item Measure Actual-1 Actual-2 TRUE TRUE Actual Actual-3 valokuvat kohteesta useammasta suunnasta antavat paremman käsityksen kuin yksi valokuva

  15. Mittaamisen kaksi näkökulmaa • reflektiivinen perinteisesti yleisempi • latentti käsite vaikuttaa indikaattoreihin (items, väittämät, osiot) • indikaattori on käsitteen funktio • kaikki indikaattorit muuttuvat yhtä aikaa, jos käsite muuttuu • Indikaattorit korreloivat keskenään • Esim. kielitaito • formatiivinen • indikaattorit vaikuttavat latenttiin käsitteeseen • käsite muuttuu, jos yksikin indikaattori muuttuu • Indikaattorit eivät välttämättä korreloi keskenään • esim. SES, HDI, maariski ym. indeksit • Esim. liikunnan harrastaminen • (Diamantopoulos, A. artikkeleita aiheesta ) • matemaattiset menetelmät hieman erilaisia

  16. Mittarinmuodostamisprosessi(scale development) • käsitteen määrittely • väittämien laatiminen (item generation) • muuttujien karsiminen • tiedon keruu • muuttujien karsiminen • mittarin muodostaminen • yksidimensioisuuden varmistaminen (unidimensionality) • reliabiliteetin arviointi (reliability) • validiteetin arviointi (validity) • yleistettävyyden arviointi (replikointi, stability across samples) • Ks. SERVQUAL.pdf

  17. Käsitteenmäärittely • Arkikielen määritelmä ja tieteellinen määritelmä • Samalle käsitteelle löytyy yleensä monta erilaista määritelmää tieteellisistä tutkimuksista (esim. Kulttuuri yli 300 kpl) • Mitä tämä diversiteetti aiheuttaa tieteen edistymiselle? • Operationaalinen määritelmä käyttää termejä, jotka ovat empiirisesti mitattavissa • Ks. Marketorientation.xls • esim. Sitoutuminen: jatkuvuus, panostus, valmius uhrauksiin

  18. Käsite: äidinkielen taito kuuntelutaito suullinen viestintä puheviestintätaito lukutaito kirjallinen viestintä AI kirjoitustaito kielioppitaito sanaston käyttö sanavarasto

  19. Käsitteen määrittelyn keinot • kirjallisuuskatsaus ylivoimaisesti tärkein! • muista ottaa huomioon muut tutkimusalat ja erilaiset näkökulmat tai analyysin tasot • miten käsite eroaa lähikäsitteistä • mitä on, eikä miksi on (capability?) • aiemmat tutkimukset ja niissä käytetty operationalisointi voi auttaa • haastattelut • oma kokemus

  20. Väittämien laatiminen • Itemgeneration • deduktiivinen ja induktiivinen lähestyminen • deduktiivinen • vaatii ilmiön ymmärtämistä • kirjallisuuskatsaus käsitteen määritelmistä • induktiivinen • sopii kun ilmiö on vähemmän tutkittu • laadullinen aineisto pohjana • sisältöanalyysi ja teemoittelu • kuvaile, miten esimiehesi kommunikoi kanssasi • kriittisten tapausten tekniikka

  21. Butler 1991 luottamuksen edellytysten operationalisointi induktiivinen lähestyminen • managerit kuvailivat henkilöä, johon luottavat ja henkilöä, johon eivät luota • kuvailivat kriittisiä tapauksia, jotka olivat johtaneet luottamuksen syntyyn tai menettämiseen • löytyi 280 + 174 edellytystä • opiskelijat ryhmittelivät ne 10 luokkaan • kirjoitettiin määritelmät kullekin luokalle • laadittiin 4 väittämää kullekin luokalle

  22. Väittämien laatiminen • aiemmat empiiriset tutkimukset • mittarikäsikirjat (handbook of …) • kvalitatiivisia menetelmiä (criticalincident) • delphi, aivoriihi, GDSS, yms. • asiantuntijapaneelit, yrityshaastattelut • mahdollisimman paljon, karsitaan myöhemmin • Aluksi ainakin 10 per dimensio/alakäsite, lopulliseen 4-6 • positiivisia sekä negatiivisia • selkeitä ja yksikäsitteisiä • käyttäytymistä vai asennetta vai mielipidettä vai aikomusta • suoria vai projektiivisia • mittaustapoja useita (Likert 5 tai 7, Osgood) • vaihtelua on saatava, ja normaalijakaumia

  23. Asenneväittämien laadinta (Metsämuuronen) • yksinkertaisuus (luennon hyödyllisyysaste oli korkea – luennosta oli minulle hyötyä) • ei faktoja (matematiikan arvosanani oli kiitettävä – saan helposti hyviä arvosanoja matematiikassa) • vältä ääritermejä: aina, ei koskaan, kaikki, ei kukaan, ainoa (en koskaan valehtele – pyrin olemaan rehellinen) • lyhyitä väittämiä, max 20 sanaa • yksiselitteisyys (rasismi on oikeusasia – ketään ei saisi aliarvostaa rodun tai ihonvärin perusteella) • ei johdattelevia (myönnän, että jaettu materiaali oli hyvä – olen tyytyväinen …)

  24. Asenneväittämien laadinta (Metsämuuronen) • yksi asia per väittämä • pidän kirjallisuudesta, koska lukemalla opin uusia asioita – pidän kirjallisuudesta • vältä ja-sanaa väittämässä • pitää tulla vaihtelua • on hyväksi käydä koulua – minusta on hauskaa käydä koulua • ei liikaa negatiivisia väittämiä • väittämät satunnaiseen järjestykseen

  25. Väittämienkarsiminen I Ennen varsinaista tiedonkeruuta Scalepurification, itemreduction asiantuntija-arviot ryhmittely käsitemääritelmät esitetään ja pyydetään asettamaan kukin item sitä vastaavaan käsitteeseen asiantuntijoiden yksimielisyyden arviointi (konkordanssikerroin) pilottitutkimus/esitestaus, josta saadaan itemien jakaumat korrelaatiot itemien välillä faktorianalyysit

  26. Väittämienkarsiminen II • Varsinaisen ison tiedonkeruun jälkeen • varmistetaan normaalit jakaumat • varmistetaan riittävä varianssi • käännetään negatiiviset väittämät • itemien väliset korrelaatiot (min .30) • Item-total korrelaatiot • Reliabiliteettikerroin Cronbach alpha • eksploratiivinen faktorianalyysi • ei liian suuria sivulatauksia • lataus min .40 • faktorien määrän voi rajoittaa

  27. Mittarinmuodostaminen • Kullekin dimensiolle itemiensumma (SAS: filter&query, functions, sum) • itemien keskiarvo (SAS: filter&query, functions, mean) • yleensä parempi kuin summa, koska haluat ehkä verrata keskenään sellaisia yhdistettyjä mittareita, joissa on eri määrät itemeita • Faktoripistemäärä (voidaan tallentaa SAS-ohjelmassa faktorianalyysin yhteydessä) • Standardoitu muuttuja • Kaikki itemit vaikuttavat kaikkiin dimensioihin

  28. Yksidimensioisuuden varmistaminen • unidimensionality • Tarkistetaan että väittämistä muodostuu oletettu määrä dimensioita, ja että kukin väittämä sijoittuu oikeaan dimensioon • faktorianalyysi • eksploratiivinen vaatii min 150 havaintoa • konfirmatorinen parempi, vaatii 200 havaintoa • alle .40 latautuvat väittämät poistetaan yleensä • aineisto hyvä puolittaa niin että kehittely ja validointi tapahtuvat eri puolikkaissa

  29. Mittareiden validiteetti ja reliabiliteetti

  30. Scale Evaluation Validity Reliability Content Test-Retest Internal Consistency Criterion Alternative Forms Construct Convergent Validity Discriminant Validity Nomological Validity Reliabiliteetti ja validiteetti

  31. tarkoittaa vapautta satunnaisesta virheestä tyypit: Stability (“test-retest reliability”) Equivalence (“parallel forms reliability”, esim. ranking vs. rating) Consistency (“split-half reliability”) Homogeneity (“internal consistency reliability”) Inter-rater reliability (concordance) Reliabiliteetti

  32. Cronbach alpha mittaa yhdistetyn summa-asteikon sisäistä yhtenäisyyttä (internalconsistency), saa arvoja välillä 0…1. Enemmän muuttujia -> korkeampi alpha kuinka paljon väittämät korreloivat keskenään positiivisesti (inter-itemcorrelations, min.30) Alphan on oltava vähintään 0.60 alustavassa tutkimuksessa, 0.70 teorioiden testaamisessa (Nunnally) poista sellaiset väittämät, joiden item-totalcorrelation on heikko (min. noin .50) Poistasellaisetväittämät, joiden Squared multiple correlation on heikko (yli .5 olisihyvä, huom. SAS eitulostako. lukua) Älänostareliabiliteettiavaliditeetinkustannuksella Reliabiliteetti

  33. Cronbach alpha N=väittämien määrä r= väittämien välisten korrelaatioiden keskiarvo

  34. Validiteetti tyypit: • ulkoinen validiteetti eli tulosten yleistettävyys ko. otoksen ulkopuolelle • Sisäinen tulosten validiteetti eli onko analyysit oikein tehty ja tulkittu • Sisäinen mittarin validiteetti eli mitataanko sitä mitä on tarkoitus mitata, onko mittari vapaa systemaattisesta virheestä • sisältö- eli ilmivaliditeetti • kriteerivaliditeetti (ennustevaliditeetti) • Käsite- eli rakennevaliditeetti

  35. Scale Evaluation Validity Reliability Content Test-Retest Internal Consistency Criterion Alternative Forms Construct Convergent Validity Discriminant Validity Nomological Validity Mittarin reliabiliteetti ja validiteetti

  36. Sisältövaliditeetti • content validity • onko mittarit laadittu siten että niiden avulla saadaan vastaukset tutkimuskysymyksiin • capture the domain of the construct • ei voi arvioida matemaattisesti • huolellinen käsitteiden määrittely • pinnallisuuden välttäminen • ulkopuolisten asiantuntijoiden arvioinnit

  37. Kriteerivaliditeetti • criterionvalidity • onko mittarit laadittu siten että niiden avulla saadaan hyvä selitysaste tai ennustetarkkuus • concurrent tai predictive • Esim. Yrityksenkonkurssiriskiäkartoittavanmittarinkriteerivaliditeettivoidaanarvioidapitkittäistutkimuksella, jossaverrataanmyöhemminkonkurssiinmenneidenaiempaariskitulostaeloonjääneidenvastaaviinriskilukuihin

  38. Käsite- elirakennevaliditeetti • constructvalidity • onko käsite teoreettisesti validi ja onko mittari riittävän kattava (deficiency, contamination) • kertooko mittari käsitteestä ”the wholetruth and nothingbut the truth” • convergentvalidity (samanlaiset tulokset kuin aiemmin käytetyillä vastaavilla mittareilla) • korrelaatio, MTMM • discriminantvalidity (eroaa muista käsitteistä) • faktorianalyysi, MTMM • nomologicalvalidity (suhteet teorian mukaiset)

  39. Multitrait - Multimethod Matrix (Campbell & Fiske, 1959) { b1 = reliability for method 1 va = convergent validity for both methods wrt trait a m1 = discriminant validity for method 1 d = “nonsense”-correlation Correlationcoefficients • Requirements: • v > 0 and "high enough" • v > d • v > m • d low

  40. ExampleMosher Forced Choice Guilt Scale 3 traits • Guilt feelings about sex • Hostile guilt • Guilt concerning morality 3 methods • Incomplete sentences "When I dream about sex …" • Forced choice " When I dream about sex …" • I don't remember a thing in the morning • I feel happy when I get up • True / false • "When I dream about sex I wake up feeling happy"

  41. MTMM matrix for the Mosher Forced Choice Guilt Scale Sexual Hostile Morality FC very reliable, TF too, IS not Good convergent validity Discriminant validity OK

  42. mittarin toimivuutta tulisi aina arvioida eri otoksella kuin se on laadittu replikointi hakee rajoja sille, missä konteksteissa teoriat pätevät (tai mittarit toimivat), esim. SERVQUAL erityyppiset palvelut kansainvälisen tutkimuksen invarianssi (cross-culturalvalidation) Yleistettävyyden arviointi

  43. http://www.socialsciencesweb.com/ tosi paljon kirjoja Nunnally & Bernstein (1994) Psychometric Theory. McGraw Hill DeVellis (1991) Scale Development: Theory and Applications. Sage Marketing Scales Handbook: A Compilation of Multi-Item Measures, Vol. I-III Authors: G. Bruner , K. James , P. Hensel Measures of Personality and Social Psychological Attitudes : Volume 1: Measures of Social Psychological Attitudes. Authors: J. Robinson , P. Shaver , L. Wrightsman Metsämuuronen (2004): Tutkimuksen tekemisen perusteet ihmistieteissä Price JL and Mueller CW. (1986). Handbook of organizational measurement. Marshfield,Mass.: Pitman. Rubin RB, Palmgreen P & Sypher HE. (1994). Communication research measures: A sourcebook. New York: Guilford Pr. Psykologian mittareita http://www.ull.ac.uk/subjects/guides/psycscales.shtml Kirjoja mittareista

  44. Churchill (1979) A paradigm for developingbettermeasures of marketingconstructs. J Mark Res, 16(1):64-73 Campbell et al (1973) The development and evaluation of behaviorallybasedratingscales. J ApplPsych, 57:15-22 Mullen (1995) Diagnosingmeasurementequivalence in cross-nationalresearch. J IntBusStud, 26(3):573-96 Campbell & Fiske (1959) Convergent and discriminantvalidityby the multitrait-multimethodmatrix. Psych Bulletin 56(March):81-105 Gerbing & Anderson (1988) An updatedparadigm for scaledevelopmentincorporatingunidimensionality and itsassessment. J MktngRes 25(May):186-192 Hinkin (1995) A review of scaledevelopmentpractices in the study of organizations. Journal of management, 21(5) jne… Artikkeleita mittaamisesta

  45. SAS-esimerkki: Summamuuttujan reliabiliteetti ja muodostaminen

  46. IGO väittämät International GrowthOrientation tarkoitus kuvata yrityksen tahtoa kansainväliseen kasvuun Kuusi väittämää, joista kaksi sanamuodoltaan käännettyjä IGO4: Growth can be achieved mainly through internationalization IGO5:There is still enough growth potential in domestic markets* IGO6: Risks related to internationalization are too high* IGO7: We need to internationalize in order to succeed in the future IGO10: It is important for our company to internationalize quickly IGO11: Internationalization is the only means to achieve the objectives of growth we have set *huom. Sanamuotokäännetty

  47. IGO –väittämienkorrelaatiomatriisiAnalyze- multivariate - correlations

  48. IGO –väittämienkorrelaatiomatriisi Igo5 ja igo6 korreloivat negatiivisesti muiden kanssa, arvot on käännettävä 1->5, 2->4, 4->2, 5->1

  49. Väittämiensuunnankääntäminenquery builder – computed columns – new – recoded column

More Related