Prof. Dr. F. Dochy Universiteit Maastricht/ KU Leuven

1. Assessment in CBL programs – assessmentforlearning and feedback/ self-responsibility -autonomy Prof.Dr. F. Dochy Universiteit Maastricht/ KU Leuven

2. Assessmentaccording to Jim Popham • His most recent books are ClassroomAssessment: WhatTeachersNeed to Know, 6th Ed. (2010) and AssessmentforEducational Leaders (2006), Allyn & Bacon; The TruthAboutTesting (2001), Test Better, TeachBetter (2003), TransformativeAssessment (2008) and InstructionthatMeasures Up (2009) ASCD; America’s “Failing” Schools (2005) and MasteringAssessment (2006), Routledge; and UnlearnedLessons (2009) HarvardEducationPress.

3. OUR FAILURE TO USE FORMATIVE ASSESSMENT:IMMORAL OMISSION?

4. Please, just for a moment, suppose that the world’s pharmaceutical industry has developed a new medicine to treat a serious, life-threatening disease affecting young children. Suppose, further, there is a flock of compelling clinical evidence that this medicine effectively halts the dangerous disease, and that it is eminently affordable. Now, for your final supposition—and this one strains credulity—I want you to suppose that few physicians use the medicine with their young patients nor do they make parents of those children aware of the new medicine’s existence. As indicated, this kind of conduct from physicians, even though fictional, is surely unlikely. • Okay, looking back at the previous paragraph’s excursion into Supposition Land, if such a scenario were factual, how do you think our society—and parents in particular—would react to physicians’ failure to either use the new medicine or to describe its potential benefits to parents? Well, recalling my own experience as a parent of young children, I’m certain that parents would be outraged. For physicians neither to use the new medicine or to let parents know about its merits would surely be regarded as unprofessional and, more likely, as downright immoral. Assuming some children might actually die because their parents knew naught about this effective but unused medicine, for physicians to hide its curative powers from the world would be a profound professional blunder. The medical profession would be—and should be—on the receiving end of well warranted castigation.

5. Content Students’ views onassessment Feasibility of assessment in CBL Assessmentpolicy Pitfalls Working and learning in teams Practical guidelines

6. 1. Assessment and CBL: Is the assessmentpolicyknown to students?Do studentsknowtheyworkoncompetences?

7. Strategicbehaviour of students : • Directedtowards the type of assessment • Directedtowardswhat is perceived as being important • Towardswhat is possibly part of the exam

8. MIT research(Snyder) • “Studentsconstructedtheirownunderstanding of the curriculum frommessages, implicit and explicit, aboutwhatcounts in assessment.” • “The extent to whichstudentswerecued in to assessmentdemands was found to be a strong predictor of their overall performance”.

9. 2.Assessment byindividualteachers : feasibility?

10. Case study in innovation • In groups of 10 students: workonreal/ authentic professional problems • Transition to groups of 20 students • onecouldnotaffordsmallproblem classes and couldnotafford to reinstateweeklymarking of all problemsheets • Mean testscores decreasefrom 55% to 45%

11. Peer assessment • Peer-assessmentsessionswereintroduced. Students gave feedback to the problem sheets and discussedthemwith(75% van de taken moest opgelost zijn om toegelaten te worden aan het tentamen) • “The onlychange to the course was these sixpeer-assessmentsessionswhichdidnotcontribute to coursemarks” • Testsscoresincreasedfrom 45% to 75%. • Explanations?

12. Explanations? • Time ontask • Assessmentgeneratesappropriatelearningactivity: studenten verdiepen zich in exact datgene wat gewenst is, in competenties die vereist worden (o.a. door het gebruik van de criteria) • Goodpracticegives prompt feedback: Keyword is here ‘immediately’. (POPHAM!!!) To getbetter in playing darts, you have to beable to seewhere the darts land. • Internalization of criteria forquality. Vergelijk met academici die een artikel voor publicatie indienen.

13. 3. Assessmentpolicy: Alignment of assessment plans at the level of the training program

14. Starts withmapping all the assessments in the training program ; Matrix of courses/projects and assessments. • State priorities: competence list; special learninglines; subject matter priorities (e.g.continuous link withpractice; firstbasicknowledge, thenapplications; basic attitudes and genericcompetencescontinuouslyintegrated in courses and projects, etc.)

15. Points of attention in CBL • Assessmentberoepscontextgebonden? • Stijgende zelfsturing lln, zelfverantwoordelijkheid eigen leren? • Ontwikkelingsgericht werken? • Docent als coach? • Competentiegericht (integratie K,V,H)? • Welk soort sturing door assessment? (Toets je wat je wil toetsen? Wat is het effect op studenten?) • Zelfreflectie (report of 5’ evaluation in each of the minutes of each meeting)

16. Zorg eerst voor een visie op instellingsniveau, gedeeld door opleidingshoofden • Zorg voor enige uniformiteit in aanpak over opleidingen heen. • Opleidingshoofden hebben de expliciete taak om een assessmentbeleid op te stellen. Dat start bij een eenvoudige matrix.

19. 4. Pitfallsin CBL assessment 1. Enkeluitgaan van een ‘Assessment center’ (‘hetassessment’) Ook ‘kennis’ als basis isbelangrijk: dit dientzich te weerspiegelen in de mix aanassessmentvormen. Kennisiseendeel van elkecompetentie.

20. Pitfalls in CBL assessment 2. Een mix van assessmentvormenisnoodzakelijk = Visible in the assessmentpolicy

21. Mix van toetsvormen: voorbeeld product toetsen producttoets kennistoets Co-assessment ? praktijktoets OAT summatieve/ selecterendetoetsen formatieve/ diagnostische toetsen portfolio assessment portfolio ? 180° feedback procesverslag ? 360° feedback proces toetsen

22. Pitfalls in CBL assessment 3. De output van CGO is niet vergelijkbaar met de output van traditioneelopleiden. Men poogteenandersoorteindproduct op te leveren.

23. Pitfalls in CBL assessment 4. Nieuweassessmentvormenkennensomsdezelfdealgemenenadelenalsklassieketoetsen Bijv: portfolio (1 per opleiding; beoordeelbaar; incl. Reflectieverslag; structuur) (T to T; anticipatie; …)

24. Pitfalls in CBL assessment 5. Het 40/80 concept Hebbenweecht 80 toetsennodig in eenopleiding om te wetenwat onze studentenwaardzijn?

25. 5. Learning and working in teams?

26. Onderzoek naar leren en werken in teams • Cooperatief leren • Projectonderwijs en PGO door studenten • Maar: veel varianten !!! En : wat bepaalt nu het effect? • Leren en werken in teams: studie van de sterkst voorspellende variabelen

27. Basic factors influencingworking in teams (Decuyper, Dochy, VdBosssche, 2010) • Constructieve conflicten / co-constructie: constructivecontroversy • Psychologische veiligheid • Interdependentie • Zelfverantwoordelijkheid (individualaccountability) • Cohesie (divers in soorten teams)

28. Team activity Team reflexivity Co- construction Constructive conflict Boundary crossing Teamleerprocessen Teamleergedrag is beste voorspeller van team efficiency

29. Teachers’ teamwork inassessment: how? • Toetscommissie per opleidingsonderdeel • Assessmentvormvarieren (assessmentplan) / casusmateriaal maken • Kwaliteitsverhoging: nalezen, controle door diverse mensen • Let op: nietjestoetsen!!! • Dus: assessment van grotere gehelen inhouden en competenties is af en toe nodig

30. Assessment 2020 Assessment has most effect when : ….. Assessment 2020 Sevenpropositionsforassessment reform in highereducation

31. 6. Practical guidelines

32. Wat doe je als je wil dat studenten initiatief nemen? • Zorg voor duidelijke richtlijnen over het doel en kader (min. vereisten; tools; etc.) • Zorg dat de toetsen /opdrachten zeker aansluiten bij het onderwijs • Geef gepaste regelmatige feedback en feedforward (voldoende detail) (initiatief gaande houden) (vraag notulen van elke groepsmeeting) • Zorg voor een open opdracht die studenten deels kunnen invullen (engagement) • Zorg voor keuze in opdrachten / ook evt. keuze in moeilijkheidsgraad • Zorg voor duidelijke deadlines (zonder uitstelmogelijkheid) • Voelen van autonomie (niet-controlerend), verbondenheid, competentie (Selfdetermination)

33. Wat niet doen als je wil dat studenten initiatief nemen? • Controlerend optreden en feedback geven (ipv vragend) • Teveel kleine omlijnde opdrachten geven • Voor alles cijfers geven (hordenloop) • Alles zelf bepalen als docent (criteria, doelen, werkwijze, planning, timing, etc.) • Ook zwakke studenten een voldoende geven !!

34. Ten slotte

35. Onderzoek naar bewijsmateriaal voor de invloed van toetsing op motivatie vanstudenten • “the use of summative tests not only inhibits the practice of formative assessment but has a negative impact on motivation” (Onderzoek W. Harlen) • “improving formative assessment can significantly raise standards of attainment”

36. Tests of the kind that takes away control from the learner, reduces motivation and leads to surface learning. “High stakes summative assessment squeezes out assessment for learning”.

37. Workshop

38. Individuele beoordeling bij groepswerk

39. Individuele beoordeling bij groepswerk • 3 vragen: • 1. Hoe doen we de individuele beoordeling bij groepswerk? • 2. Problemen die we daarbij ervaren? • 3. Hoe lossen we die problemen op of hoe kunnen we ze oplossen?

40. Indiv. beoordeling bij groepswerk • Beoordeling van indiv. bijdrage in groepsgesprek van taak- en relatiespoor. • Verdeling van het totale aantal punten door de groep (bij een groepsscore van 6 op 10, mag een groep van 6 studenten 36 punten verdelen over alle studenten) • Groepsscore voor elke student + een individuele score (door docent; door groep; door beide) (evt. Op basis van individueel POP) • Groepsscore + individuele opdracht (identiek maar in andere context en alleen uit te voeren)

41. Denkaan: • Interdependentie • Individueleaccountabiliteit • Psychologischeveiligheid • TLB: constructive controversy