Een systemische aanpak van toetsing

1. Een systemische aanpak van toetsing NVMO Hoofdlezing Maastricht, 15-16 november 2012 Cees van der Vleuten Universiteit Maastricht

6. Overzicht • Van praktijk naar onderzoek • Van onderzoek naar theorie • Van theorie naar praktijk • Conclusies

7. Toetsvormen • MCQ, MEQ, OEQ, SIMP, Write-ins, Key Feature, PMP, SCT, Patiënt examen, OSCE, OSPE, DOCEE, SP-based test, Video assessment, MSF, Mini-CEX, DOPS, assessment center, self-assessment, peer assessment, incognito SPs………….

8. Performance assessment in vivo: KKB, 360۫…, Peer, Video, Incognito Pat, Video……. Does Performance assessment in vitro: OSCE, SP-based test….. Knows how (Klinisch) Contextuele toetsen: MCQ, open vragen, mondeling….. Knows Feitgerichtetoetsen: MCQ, open vragen, mondeling….. Shows how De beklimming...... Does Shows how Knows how Knows

9. Onderwijs- invloed Onderwijs- invloed Validiteit Validiteit Kosten Acceptabiliteit Betrouwbaarheid Betrouwbaarheid Karakteristieken van instrumenten

10. Validiteit: wat beoordelen we? • Curricula zijn veranderd van input sturing naar output sturing • Van disciplinesnaar leerdoelen, eindtermen, en nu competenties • Van docentsturing naar zelfsturing

11. Competentie-frameworks • CanMeds (Canada) • Medical expert • Communicator • Collaborator • Manager • Health advocate • Scholar • Professional • ACGME • (US) • Medical knowledge • Patient care • Practice-based learning & improvement • Interpersonal and communication skills • Professionalism • Systems-based practice • GMC • (UK) • Good clinical care • Relationships with patients and families • Working with colleagues • Managing the workplace • Social responsibility and accountability • Professionalism

12. Does Knows how Knows Shows how Validiteit: wat beoordelen we? Ongestandaardiseerde Toetsing (opkomend) Does Shows how Gestandaardiseerde Toetsing (ver uitontwikkeld) Knows how Knows

13. Inzichten over validiteit • We hebben een veelheid aan toetsmethoden nodig om de hele competentiepiramide te dekken • Nodig zijn gestandaardiseerde ènongestandaardiseerdetoetsmethodieken • Kwaliteitscontrole van instrumenten is essentieel voor gestandaardiseerde beoordeling • De gebruikers (de mensen) zijn essentieel bij ongestandaardiseerdebeoordeling.

14. Betrouwbaarheid: hoe precies beoordelen we? KKB6 0.73 0.84 0.92 0.96 Korte casus gerichte Essay2 0.68 0.73 0.84 0.82 Praktijk Video Obser- vatie7 0.62 0.76 0.93 0.93 In- cognito SPs8 0.61 0.76 0.82 0.86 Toets- Tijd in Hours 1 2 4 8 MCQ1 0.62 0.76 0.93 0.93 Simu- laties1 0.36 0.53 0.69 0.82 Mon- de- ling3 0.50 0.69 0.82 0.90 Patient examen4 0.60 0.75 0.86 0.90 OSCE5 0.54 0.69 0.82 0.90 1Norcini et al., 1985 2Stalenhoef-Halling et al., 1990 3Swanson, 1987 4Wass et al., 2001 5Van der Vleuten, 1988 6Norcini et al., 1999 7Ram et al., 1999 8Gorter, 2002

15. Inzichten over betrouwbaarheid • Acceptabele betrouwbaarheid wordt slechts bereikt bij een grote steekproef aan toetselementen en beoordelaars • Geen enkele methode is inherent beter dan een andere (ook de nieuwere niet!) • Objectiviteit is NIET gelijk aan betrouwbaarheid • Vele onafhankelijke subjectieve oordelen maken een objectief oordeel.

16. Onderwijsinvloeden: Hoe stuurt toetsing het leren? • Sturing is complex (zie Cilliers, 2011, 2012) • Veel negatieve invloeden • Povere leerstijlen • Cijferproblematiek (zesjes cultuur, genade-zes, jagen op punten) • Hoge werkplekbeoordelingen • Veel reductionisme in toetsing • Weinig feedback (cijfer is slechte vorm van feedback) • Toetsconcept niet aansluitend op onderwijsconcept • Aggregatie van informatie over niet betekenisvolle eenheden • Weinig longitudinale opvolging • Veel vinken, weinig vonken (OSCE, werkplekbeoordelingen).

17. Inzichten over onderwijsgevolgen • Geen enkele toets of beoordeling zonder betekenisvolle feedback • Narratieve feedback heeft meer impact dan scores op complexe vaardigheden • Feedback alleen is niet genoeg voor gebruik • Meer longitudinale beoordeling is wenselijk.

18. Overzicht • Van praktijk naar onderzoek • Van onderzoek naar theorie • Van theorie naar praktijk • Conclusies

19. De beperkingen van de enkelvoudige toetsbenadering • Geen enkele toets kan alles • Elke toets heeft beperkingen • Elke toets houdt een fors compromis in

20. Implicaties • Validiteit: een veelheid aan toetsen nodig • Betrouwbaarheid: veel (gecombineerde) informatie nodig • Onderwijsgevolgen: toetsing moeten (longitudinaal) betekenisvol voor het leren zijn Toetsprogramma’s

21. Toetsprogramma’s • Curriculum programma is goede metafoor; in een toetsprogramma zijn: • Onderdelen gepland, gearrangeerd, gecoördineerd • Systematisch geëvalueerd en bijgesteld • Maar hoe doe je dat dan? (de literatuur biedt bitter weinig houvast!)

22. Toetsprogramma’s • Zie Dijkstra et al 2012: 73 generieke richtlijnen voor toetsprogramma’s • Nog te doen: • Verdere validering • Een handzaam (zelfevaluatie) instrument

23. Bouwstenen Toetsprogramma’s 1 • Elke toets of beoordeling is één datapunt (Δ) • Elk datapunt is geoptimaliseerd voor leren • Informatierijk (kwantitatief, kwalitatief) • Betekenisvol • Gevarieerd in vorm • Summatief versus formatief vervangen we door een continuüm van wat er op het spel staat (stakes) • N datapunten zijn gerelateerd aan aard van beslissing

24. Continuüm van wat er op spel staat,relatie met datapunten en hun functie Er staat niets op spel Er staat alles op spel • Eén • datapunt: • Gericht op informatie, • feedback • Tussentijdse • Voortgangsbeslissingen: • Meer datapunten nodig • Gericht op diagnose, bijsturing en voorspelling • Finale • Beslissingen: • Veel datapunten nodig • Gericht op een (niet verassende) zware beslissing

25. Toetsinformatie als pixels

26. Klassieke benadering van aggregatie Methode 1 voor beoordeling van vaardigheid A Σ Methode 2 voor beoordeling van vaardigheid B Σ Methode 3 voor beoordeling van vaardigheid C Σ Methode 4 voor beoordeling van vaardigheid D Σ

27. Betekenisvolle benadering van aggregatie Competentie A Competentie B Competentie C Competentie D Methode 1 Methode 2 Methode 3 Methode 4 Σ Σ Σ Σ

29. Overzicht • Van praktijk naar onderzoek • Van onderzoek naar theorie • Van theorie naar praktijk • Conclusies

30. Terug van theorie naar praktijk • Bestaande toetspraktijken: • Master Diergeneeskunde Utrecht • AKO, graduate entry geneeskunde Maastricht • Jaar 6 geneeskunde Maastricht (later hele Master) • Huisartsopleiding Nederland • Sommige specialistenopleidingen zijn hard op weg • Cleveland LearnerClinic, Cleveland, Ohio

31. Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007) • 5 jarige opleiding arts/klinisch onderzoeker • Overkoepelende competententiestructuur • Beschreven standaarden per fase van de studie • Alle toetsing formatief en infomatief • Wekelijkse casustoetsing met open vragen, geen gradesmaar feedback • Veel docent en peer evaluaties in narratieve vorm • Werkplekbeoordelingen • OSCEs

32. Competentie framework • Research • Medical Knowledge in the Basic andClinical Sciences • Communication • Professionalism • Personal Development • Clinical Skills • ClinicalReasoning • Health Care Systems • ReflectivePractice

33. Voorbeeld van standaarden

34. Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007) • Alle infomatie in een centraal webgebaseerd systeem • Mentor systeem met longitudinale opvolging, gesprekken op basis van zelfanalyses • Voortgangsbeslissingen door onafhankelijke commissie met zware procedures voor besluitvorming

36. Cleveland Clinic Lerner College of Medicine(Dannefer et al., 2007) • Alle infomatie in een centraal webgebaseerd systeem • Mentor systeem met longitudinale opvolging, gesprekken op basis van zelfanalyses • Voortgangsbeslissingen door onafhankelijke commissie met zware procedures voor besluitvorming

37. Cleveland Clinic Lerner College of Medicine • Opbrengsten: • Studenten passen zich probleemloos aan na de “test-cultuur” waaraan ze gewend zijn • Hoog presterende studenten (USMLE) • Studenten zijn de ambassadeurs geworden van het systeem en waarderen: • De rijkheid van het systeem • Het aandacht bieden aan brede vaardigheden • De zelf-controle • De begeleiding

38. Overzicht • Van praktijk naar onderzoek • Van onderzoek naar theorie • Van theorie naar praktijk • Conclusies

39. Conclusies 1 • We moeten af van het exclusief denken in individuele toetsmethoden • Een systemische, programmatische aanpak is daarvoor noodzakelijk, longitudinaal gericht • Elke toetsmethode kan hierin functioneel zijn (oud en nieuw; gestandaardiseerd en ongestandaardiseerd) • Professionele oordeelsvorming is onontbeerlijk (vergelijkbaar aan de klinische praktijk) • Subjectiviteit wordt gepareerd met sampling en met procedurele maatregelen (en niet met standaardisering of objectivering)

40. Conclusies 2 • Het toetsprogramma optimaliseert: • De leerfunctie (door informatierijkheid) • De beslisfunctie (door combinatie van informatie)

41. DezePowerpoint: www.fdg.unimaas.nl/educ/cees/nvmo Dank voor uw aandacht!