Methoden en technieken van kwaliteitsvol praktijkgericht onderzoek

1. Methoden en technieken van kwaliteitsvol praktijkgericht onderzoek GeraldineClarebout & Joke Torbeyns 07-09-2012 Contact: geraldine.clarebout@kuleuven-kulak.be; joke.torbeyns@ppw.kuleuven.be

2. Inhoud • Kiezen van methoden: verschillende types • Steekproeftrekking • Betrouwbaarheid en validiteit • Verwerking van data • Praktijkrelevantie bewaken • Aan de slag

3. Kiezen van methode • Eerste stap in onderzoeksproces: probleemstelling, onderzoekvraag (evt. hypothesen) – obv literatuur, reële problemen (zie sessie 2: De onderzoekende houding als startpunt van praktijkgericht onderzoek) • Tweede stap in onderzoeksproces • Kiezen van methode • Verschillende opdelingen, verschillende benamingen • kwantitatief – kwalitatief onderzoek • Algemeen onderzoekstypes • Specifieke onderzoekstypes Keuze afhankelijk van vraag, van soort data dat je wenst te verzamelen en soms afhankelijk van praktische mogelijkheden

4. Kiezen van methoden (tabel uit Dieussaert, Smits, & Goubin, 2011)

6. Kiezen van methode Algemene onderzoekstypes • Beschrijvende studies • Associatief onderzoek • Interventieonderzoek • Design based research • Actieonderzoek

7. Kiezen van methode: weten • Beschrijvende studies Beschrijving van situatie (bv. beschrijving van voorkeuren van studenten, beschrijving van klassen, gedrag van studenten, scores op testen, soorten handboeken…) door literatuuronderzoek of vragenlijstonderzoek • Geen inzicht in waarom; kan basis zijn voor verder onderzoek • Weten wat er is

8. Kiezen van Methode: Weten • Literatuurstudie: • Zoek naar ‘preliminary’ sources (Eric, PsycInfo, Web of Science, Google Scholar • Gebruik secundaire bronnen (reviews) • Lees primaire bronnen • Synthetiseren van de literatuur • Welke bronnen neem je mee op? • Wat soort onderzoek neem je mee op? • Wat zijn je zoektermen (descriptoren)? • Welke beperkingen leg je op (bv. jaartallen)? Bv. Start om onderzoeksvraag te beantwoorden naar optel en aftrekstrategieën in de eerste drie leerjaren in de lagere school. ~> zie sessie 2: de onderzoekende houding als startpunt voor praktijkgericht onderzoek

9. Kiezen van methode: Weten • Vragenlijstonderzoek: inzicht in kenmerken van een groep (leerkrachten, directie, leerlingen) • Schriftelijke vragenlijst: • Belangrijk: • Duidelijke, eenduidige vragen stellen (open of gesloten vragen?) • Eerlijke antwoorden generen • Respons bij schriftelijke vragenlijst • Voordeel: • Grote groep in korte tijd bevragen • Vaak eenduidige kwantitatieve verwerking Bv. Percepties van studenten over digitale cursussen meten

10. Kiezen van methode: Weten • Vragenlijstonderzoek (vervolg) • Interview: • Belangrijk: • Duidelijke, eenduidige vragen stellen • Open gesprek, eerlijke antwoorden genereren • Voordeel: • Stellen van open vragen • Het kunnen doorvragen Bv. Zicht krijgen op gehanteerde strategieën door leerlingen (retrospectief) bij rekenen Interview met directie om zicht te krijgen op mate waarin ICT-gebruik ondersteund wordt door de directie

11. Kiezen van methode: Weten • Etnografisch onderzoek: een volledig beeld krijgen van processen (bv. Wat doen leerlingen tijdens een les LO?) • Observeren en interviewen op geregelde tijdstippen van leden van de bestudeerde groep, zo volledig mogelijk beeld krijgen • Vaak over langere periode • Belangrijk: • Sterk afhankelijk van de specifieke onderzoeker • Niet altijd veralgemeenbaar • Moeilijk controleerbaar • Kwalitatieve gevalsstudies • Grondige studie van afzonderlijke cases • Identificeren van fenomenen • Bijdragen tot theorievorming

12. Kiezen van methode: Weten Nog andere beschrijvende methoden • Narratief onderzoek • Biografie: focus op belangrijke gebeurtenissen in iemands leven • Fenomenologie: focus op specifiek fenomeen (bv. Conflicten, criticalincidents) • Groundedtheory: ontwikkelen van theorie op basis van data • Documentanalyse (bv. Handboekanalyse, analyse van bachelorproeven)

13. Kiezen van methode: Weten Voorbeeld 1 • Onderzoek naar het gamegedrag van jongeren en hun opvattingen over het gebruik van games in het onderwijs • Aanbod van online vragenlijst aan 487 leerlingensecundaironderwijs en 298 studentenlerarenopleiding • Online vragenlijst bestaande uit open en gesloten vragen • Gesloten vragen • Ja/neen; meerkeuzevragen • Speel je digitale games? (ja/neen) • Hoe vaak? (<2u per week; 2-6u per week; ...) • Open vragen • Mogelijkheid tot uitgebreid antwoord • Wat is de mogelijke meerwaarde van het gebruik van digitale games in het onderwijs volgens jou?

14. Kiezen van methode: Weten Voorbeeld 1 • Beschrijving van het gamegedrag van Vlaamse jongeren en hun opvattingen over het gebruik van games in het onderwijs • Frequentie van gamen • Aard van de meest gespeelde games • Opvattingen over games in het onderwijs • Motivatie voor/tegen games in het onderwijs Met vergelijking van leerlingen secundair onderwijs en studenten lerarenopleiding

15. Kiezen van methode: Weten Voorbeeld 2 • Onderzoek naar de houding van directieleden (lager onderwijs) tegenover leerkrachten met dyslexie in het onderwijs • Aanbod van schriftelijke vragenlijst aan 264 directieleden lager onderwijs; gevolgd door individueel interview met 8 directieleden lager onderwijs • Schriftelijke vragenlijst bestaande uit gesloten vragen • Ja/neen; meerkeuzevragen; stellingen • Heeft u momenteel een leerkracht met dyslexie in het team? (ja/neen) • Hebben leerkrachten met dyslexie, volgens u, specifieke sterke punten die voortvloeien uit hun dyslexie? Zo ja, welke? (meerkeuze) • Stelling: ik neem een leerkracht met dyslexie niet aan (5-punten schaal, gaande van helemaal niet akkoord tot helemaal akkoord)

16. Kiezen van methode: Weten Voorbeeld 2 • Individueel interview bestaande uit open vragen Verdere toelichting en verdieping van antwoorden op schriftelijke vragenlijst • Waar is/was de leerkracht met dyslexie, uit uw team, goed in? • Welke talenten herkent/herkende u bij deze leerkracht? • (onderstaande vragen stellen voor elk talent dat wordt aangehaald) • Hoe komen/kwamen deze talenten tot uiting in de praktijk? • Hebt u enig idee wat maakt dat die leerkracht met dyslexie daar goed in is? • Komen die talenten ook terug bij leerkrachten zonder dyslexie? • Welke wel? • Welke niet? • Hoe zou u deze verschillen verklaren? • Waarom denkt u dat die talenten vooral terugkomen bij leerkrachten met dyslexie? • Zijn de genoemde talenten belangrijk voor het beroep als leerkracht? • Zo ja? Waarom? • Zo nee? Waarom niet?

17. Kiezen van methode: Weten Voorbeeld 2 • Beschrijving van de visie van directieleden m.b.t. leerkrachten met dyslexie in het onderwijs op basis van zowel schriftelijke vragenlijst (algemeen) als individuele interviews (concrete toelichtingen en voorbeelden)

18. Kiezen van methode: weten II. Verkennen van verbanden Relaties tussen verschillende variabelen, gebeurtenissen => GEEN oorzakelijke uitspraken! => GEEN basis om interventie te doen Is er een relatie tussen leerkracht gedrag en score op een test van leerlingen, of sociaal economische status, relatie tussen attitudes en prestaties, geslacht en attitude

19. Kiezen van methode: weten • Correlationeel onderzoek: onderzoeken van relaties tussen verschillende variabelen (bv. Samenhang tussen leesvaardigheid en oplossen van vraagstukken en begrijpen van wiskundige begrippen) • Geen manipulatie • Afnemen van instrumenten om de verschillende variabelen te meten (bv. Vragenlijst, testen) • Geen causale uitspraken, maar vaak wel basis • Causaal-comparatief onderzoek: zoeken naar de oorzaak of het gevolg van bestaande verschillen tussen groepen • Onderzoeken van effecten • Onderzoeken van oorzaken • Onderzoeken van gevolgen

20. Kiezen van methode: Weten Voorbeeld 1 • Onderzoek naar het gamegedrag van jongeren en hun opvattingen over het gebruik van games in het onderwijs • Correlationeel onderzoek • Nagaan van verband tussen enerzijds gamegedrag van Vlaamse jongeren en anderzijds • Opleiding (secundair onderwijs – lerarenopleiding) • Geslacht (man – vrouw) • ICT-vaardigheden (zwak – matig – sterk) • Nagaan van verband tussen enerzijds houding t.o.v. games in het onderwijs en anderzijds gamegedrag

21. Kiezen van methode: Weten Voorbeeld 2 • Onderzoek naar de houding van directieleden (lager onderwijs) tegenover leerkrachten met dyslexie in het onderwijs • Correlationeel onderzoek: nagaan van verbanden tussen enerzijds houding tegenover leerkrachten met dyslexie in het onderwijs en anderzijds ervaringen met deze leerkrachten

22. Kiezen van methode: veranderen / evalueren III. Interventiestudie een bepaalde interventie, methode wordt verwacht een invloed te hebben op specifieke variabelen => uitspraken doen over effectiviteit van methoden => bevestigen (of juist niet) van theoretische voorspellingen Effect van verschillende onderwijsmethoden op leerresultaten Effect van werken vanuit ervaringen bij kinderen op wetenschappelijk denken

23. Kiezen van methode: veranderen / evalueren • experimenteel onderzoek: uittesten van verschillende interventies en effect ervan onderzoeken • onafhankelijke (interventie) en afhankelijke variabelen • manipuleren van onafhankelijke variabele • maakt de interventie een verschil? Pre-test __________interventie_________Post-test Pre-test ____________________________Post-test • Belangrijk • Controleren andere variabelen • Selectie van deelnemers: at random => quasi-experimenteel design

24. Kiezen van methode: veranderen / evalueren Voorbeeld • Onderzoek naar de effecten van de implementatie van de leerlijn onderzoekvaardigheden in de lerarenopleiding op de opvattingen m.b.t. (het gebruik en zelf uitvoeren van) praktijkgericht onderzoek van studenten lerarenopleiding • Pretest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht onderzoek in de eigen onderwijspraktijk (gesloten vragen, open vragen) • Interventie • Studenten controlegroep: afstudeerders, geen expliciete instructie m.b.t. het zelf opzetten en uitvoeren van praktijkgericht onderzoek

25. Kiezen van methode: veranderen / evalueren Voorbeeld • Interventie • Studenten controlegroep • Studenten experimentele groep: gerichte en expliciete interventie (nieuwe leerlijn) m.b.t. het zelf opzetten en uitvoeren van praktijkgericht onderzoek; driejarige leerlijn • Posttest: schriftelijke vragenlijst m.b.t. opvatting m.b.t. het gebruik en zelf uitvoeren van praktijkgericht onderzoek in de eigen onderwijspraktijk (gesloten vragen, open vragen) • Analyse van invloed interventie op opvattingen studenten (vergelijking experimentele groep, controlegroep)

26. Kiezen van methode: ontwerpen • Design-based research (~ontwikkelingsonderzoek) • Vijf kenmerken: Pragmatic, Grounded, Interactive, iterative and flexible, Integrative, and Contextual” • Pragmatisch: vertrekkendvanuitprobleem in realiteit door interventie en uitbreiden van theorie • Gegrond (‘grounded’): zowel in de realiteitals in de theorie • Interactief, Iteratief en flexibel: samenwerkingtussenonderzoekers en leerkrachten, gedurendelangetijd, continue verfijning van interventie • Integratief: variatieaanonderzoeksmethoden, zowelkwalitatiefalskwantitatief • In context

27. Kiezen van methode • Actieonderzoek • ‘teacher as researcher’ • Onderzoeken van eigen praktijk • Systematisch en kritisch • Oog op verbetering van eigen lespraktijk ~> illustraties van praktijkgericht onderzoek (SoE CLARA)

28. Kiezen van methode: besluit • De ene methode niet beter dan de andere • Belangrijk die methode te kiezen die een antwoord geeft op je onderzoeksvraag • In praktijk vaak verschillende methoden en verschillende instrument (triangulatie) • Belang van criticalfriend hoe nauwer je als onderzoeker betrokken bent bij het onderzoek

29. Steekproeftrekking • Wie zijn mijn deelnemers, bij wie doe ik een bevraging? • Populatie groot?=> deelverzameling • Representativiteit => generaliseren • Afhankelijk van kenmerken waarin je geïnteresseerd bent (bv. Onderwijstype, geslacht, SES,..) • Zelden volledige representativiteit • Representatief voor bepaalde variabelen, niet voor andere

30. Steekproeftrekking • Soorten steekproef • Zuivere toevalssteekproef • Volledige lijst van onderzoekselementen (bv. Lijst met alle leerkrachten) , trekken op basis van toeval • Conceptueel eenvoudig, maar weinig gebruikt • Moeilijk om exhaustieve lijst van onderzoekselementen op te stellen • Geografische spreiding van de onderzoekselementen • Representativiteit niet gegarandeerd (bij kleinere steekproef) • Gestratificeerde enkelvoudige aselecte steekproef: • Onderscheiden van deelpopulaties die verschillen op relevante variabele (bv. Leerkrachten uit GO! Leerkrachten VGO, leerkrachten OGO) • Deelgroepen = strata • Nemen van enkelvoudige aselecte steekproef binnen de strata • Proportionele verdeling gelijk aan verdeling in de populatie, of bewust niet proportionele verdeling

31. Steekproeftrekking • Getrapte steekproef • Eerst aantal primaire eenheden selecteren (bv. scholen) • Steekproef van secundaire eenheden (bv. leerkrachten) uit geselecteerde primaire eenheden • Gemakkelijkheidssteekproef • Eenvoudig • Moeilijk generaliseerbaar, obv theoretische argumenten

32. Validiteit en betrouwbaarheid • Validiteit • Inhoudsvaliditeit: zijn de indicatoren en vragen een goede afspiegeling van de te meten variabele (bv. Aanwezigheid op schoolvergadering goed indicator van leerkrachtmotivatie?) • Criteriumvaliditeit: hangen scores van deelnemers op een instrument samen met de scores die deelnemers behalen op een extern criterium (vooronderzoek voor nodig) (bv. Indien we vragen of leerkrachten gebruik maken van ICT is dat inderdaad een indicator voor het effectief gebruik?) • Betrouwbaarheid: instrument is betrouwbaar als het bij herhaalde toepassing op dezelfde, onveranderde elementen dezelfde waarde van de variabele als meetresultaat oplevert.

33. Verwerking data • Afhankelijk van methode • Kwantitatief • Zorg voor datafile • Verwerking kan excel, spss, sas,…. • Kwalitatief • Coderingschema opstellen • Turven ~kwantitatief • ‘beschrijven’ Tip: Mortelmans, D. (2007). Handboek kwalitatieve onderzoeksmethoden. Leuven: Acco te Gortenhuis, M., & Matthijsen, A. (2011). Basiscursus SPSS. Assen: Van Gorcum

34. Waarborgen van praktijkrelevantie • Relatief eenvoudig bij actie-onderzoek, design-based research • Niet uit het oog verliezen bij interventieonderzoek • Zorg voor betrekken van praktijk bij elke stap in het onderzoek • Resultaten bekijken vanuit theoretische relevantie, maar ook praktijkrelevantie (disseminatie naar praktijk! ~sessie 6)

35. Aan de slag • Vertrek in groepjes van 5 met een onderzoeksvraag die je tijdens sessie 2 hebt gezien, of een eigen onderzoeksvraag. Schrijf hiervoor de methode, instrumenten, deelnemers uit.