Eksamensformer og karaktergivning

1. Eksamensformer og karaktergivning Datalogisk Instituts undervisningsdage 23.-25. august 2006, Sandbjerg Gods Torben K. Jensen, tkj@ps.au.dk Universitetspædagogiske Netværk, Aarhus Universitet

2. Disposition • Hvorfor eksaminere • Hovedtyper af eksamener • Taxonomier og (ny) karakterskala(er) • Målbeskrivelser og karaktergivning

3. Hvorfor afholder vi eksamen? • …. • …. • ….

4. give de studerende feedback med henblik på at øge deres læring motivere de studerende Diagnostisere de studerende styrke og svagheder hjælpe de studerende til at udvikle deres evner til selvevaluering tilvejebringe en profil af, hvad en studerende har lært vurdere om de studerende skal dumpe eller bestå give karakterer og/eller rangordne de studerende give adgang til at fortsætte studierne udvælge med henblik på fremtidige kurser adgang (licens) til at praktisere forudsige succes i fremtidige kurser (studieegnethed) forudsige succes i job udvælge m.h.p. fremtidig ansættelse Hvorfor afholder vi eksamen?For at … • give feed back til læreren; udvikle undervisningen; evaluere kursets styrker og svagheder; få kurset til at fremtræde respektabelt

5. Overordnede perspektiv på eksamen • Eksamen er én af de stærkeste motiverende faktor for de studerende. Og det gælder om ikke at have denne stærke motivationsfaktor imod sig. • Lærerne underviser efter deres undervisningsplan – de studerende læser efter, hvad de tror de skal kunne til eksamen • Eksamen kommer ikke efter undervisning, men før undervisningen i den forstand, at eksamensformen og –kravene præger undervisningssamværet dybtgående. • ”You can´t beat backwash, so join it” (alignment) • Eksamen skal støtte læring • Eksamen skal i videst mulig omfang fremme dybdelæring

6. To hovedformål med vurderinger af de studerende • Formativ vurdering • hvis resultater anvendes til at give feed-back til de studerende undervejs i undervisningsforløbet • En uadskillelig del af undervisning • Fejl noget man lærer af – vurderer vækst • Summativ vurdering • hvis resultater anvendes til at give karakterer ved undervisnings ophør • Fejl noget der straffes – hvor står den studerende nu • Flest vanskeligheder knyttet til den summative vurdering • Udfordringen: At få den summative vurdering til at støtte hensigtsmæssig læring (alignment) • Få så meget læring som muligt ud af en ressourcekrævende institution

7. Eksamensformer • Skriftlige besvarelser • Skriftlig eksamen (tidspres) • Skriftlig eksamen med hjælpemidler • Uge-eksamen (tag-med-hjem) • Hjemmeopgave

8. … eksamensformer • Opgaveløsning • Multiple choice test • Serie af opgaver af stigende sværhedsgrad

9. Vurdering af præstation Praktik Præsentation Poster Interview (på grundlag af essay, opgave, afhandling) Mundtlig eksamen Projekter Kontraktopfyldelse Dagbog Case studie Portfolio Selvevaluering, vurderinger fra medstuderende … eksamensformer

10. Essays Artikler til seriøse aviser Artikler til fagtidsskrifter Artikler til formiddagsaviser Boganmeldelser Case for en interesseorganisation Idé til radio/TVprogram Eksperimentel design Marketingstilbud Analysetilbud Forskningsdesign Kontrakttilbud Flere idéer til eksamensformer/ -aktiviteter

11. Laboratorieundervisning Instruktionsguide for begyndere Populær-formidling af undersøgelsesresultater Paper om eksperiment Grupperapport om serie af eksperimenter Problemløsning Case fra det virkelige liv Sammenligning af det ideale med det mulige Sammenligning af den præcise løsning og estimatet … flere idéer

12. Projekter og afhandlinger For virkelige klienter Praktik Deltagerforskning, feltstudier … flere idéer

13. Taxonomier og karakterskalaer Foranlediget af betænkningen om indførelse af en ny karakterskala til erstatning af 13-skalaen Universitetspædagogiske Netværk, Aarhus Universitet

14. Norm-baseret (relativ skala) Den studerendes position i klassen ”grade on the curve” Motivationsstruktur: egen karakter ikke kun afhængig af egen indsats Kriterie-baseret (absolut skala) Vurdering af den studerendes evner i forhold til kriterier. Motivationsstruktur: egen karakter afhængig af egen indsats i forhold til kendte kriterier To hovedtyper af eksamensvurderinger

15. Amerikanske skala brugt relativ

16. Amerikanske skala brugt absolut

17. ”Måle”-modellen for vurdering af viden og færdigheder Kvantitativ opfattelse af viden – hvor mange rigtige svar – de dygtige er dem der ved mest – lavere ende af SOLO Procentandele som universel valuta (at karakterer dækker over noget sammenligneligt på tværs af fag) Forestillingen om at karakterer helst skal være normalfordelt ”Standard”-modellen for vurdering af viden og færdigheder Kvalitativ opfattelse af viden – måden data (svar) struktureres snarere end mængden – højere ende af SOLO To hovedopfattelser af ”måling”/vurdering af viden bag

18. Ny karakterskala i DK fra 2007 Universitetspædagogiske Netværk, Aarhus Universitet

19. Nuværende karakterbekendtgørelse § 1 • 13: For den usædvanlig selvstændige og udmærkede præstation. • 11: For den udmærkede og selvstændige præstation. • 10: For den udmærkede, men noget rutineprægede præstation. • 9: For den gode præstation, der ligger lidt over middel. • 8: For den middelgode præstation. • 7: For den ret jævne præstation, der ligger lidt under middel. • 6: For den netop acceptable præstation. • 5: For den usikre og ikke tilfredsstillende præstation. • 03: For den meget usikre, meget mangelfulde og utilfredsstillende præstation. • 00:For den helt uantagelige præstation.

20. Nuværende karakterbekendtgørelse: 13, 11, 10 • §4. Til karaktergruppen »udmærket« (karaktererne 13, 11 og 10) hører præstationer og standpunkter, hvor den uddannelsessøgende • viser omfattende og sikker viden henholdsvis omfattende og sikker færdighed i faget, • skelner klart mellem væsentligt og uvæsentligt, • viser en meget omfattende viden om begreber og metoder henholdsvis omfattende færdighed i begreber og metoder, • redegør for disse og disponerer et emne på en sådan måde, at næsten alle relevante forhold medtages, • giver en dækkende begrundelse for at fremdrage disse forhold, • sammenligner eller kombinerer begreber, metoder og informationer på meget sikker måde og vurderer og generaliserer tilsvarende ud fra dem og • anvender sin viden henholdsvis sin færdighed over for kendte problemstillinger på meget sikker måde og eventuelt over for ikke kendte problemer ved at kombinere foreliggende principper sådan, at løsningsmuligheder opstilles.

21. §5. Til karaktergruppen »middel« (karaktererne 9, 8 og 7) hører præstationer og standpunkter, hvor den uddannelsessøgende • viser ret bred og nogenlunde sikker viden henholdsvis ret bred og nogenlunde sikker færdighed i faget, • redegør for det forelagte emne på en sådan måde, at væsentlige forhold kommer frem, • viser en omfattende viden om begreber og metoder henholdsvis omfattende færdighed i begreber og metoder, • redegør for disse på en sådan måde, at mange relevante forhold medtages, • giver en nogenlunde dækkende begrundelse for at fremdrage disse forhold, • sammenligner eller kombinerer begreber, metoder og informationer på ret sikker måde og vurderer og generaliserer tilsvarende ud fra dem og • anvender sin viden henholdsvis sin færdighed over for kendte problemstillinger på ret sikker måde.

22. §6 Karakteren 6 er bestågrænsen, hvor der er krav om at bestå. • Karakteren svarer derfor til en præstation eller et standpunkt, hvor den uddannelsessøgende har det mindstemål af forståelse, kundskaber og færdigheder, der kan anerkendes, for at prøven kan betragtes som bestået. • Med hensyn til den viste forståelse samt de viste kundskaber og færdigheder må præstationen eller standpunktets positive og negative bidrag stå nogenlunde lige, idet de positive bidrag dog skal have overvægt. • I skriftlige og mundtlige præstationer, hvor man med rimelig nøjagtighed kan angive, hvor stor en brøkdel af den stillede opgave eller det forelagte emne den uddannelsessøgende har kunnet klare, skal denne brøkdel være over 1/2.

23. §7. Til karaktergruppen “usikker” (karaktererne 5, 03 og 00) hører præstationer og standpunkter, hvor den uddannelsessøgende • viser begrænset og usikker viden henholdsvis begrænset og usikker færdighed i faget, • har vanskeligt ved at skelne mellem væsentligt og uvæsentligt, • viser en utilstrækkelig viden om begreber og metoder henholdsvis utilstrækkelig færdighed i begreber og metoder, • redegør for disse på en sådan måde, at kun få relevante forhold medtages, • giver en begrundelse for at fremdrage disse forhold, der ikke er dækkende, • sammenligner eller kombinerer begreber, metoder og informationer på en måde, der er usikker, og vurderer og generaliserer tilsvarende ud fra dem og • anvender sin viden henholdsvis sin færdighed over for kendte problemstillinger på en måde, der er usikker.

24. … kommissoriet • Et karaktersystem er et helt afgørende element i et moderne uddannelsessystem • Karaktersystemet skal udtrykke og formidle dokumentation af målopfyldelse for den enkelte og over for aftagere • Undersøge om den nuværende anvendelse af karaktersystemet giver et retvisende og gennemsigtigt billede af den individuelle bedømmelse af elever og studerende i uddannelsessystemet

25. Udvalgets fem krav til en skala

26. Udtrykke graden af målopfyldelse – absolut skala

27. International anvendelighed

28. ECTS-skalaen

29. ECTS-skalaen – en relativ fordeling

30. Kasserer 13-skalaen • Ikke international oversættelig • Bruges forskelligt fra niveau til niveau • Tvivl om 13-skalaen bruges som en absolut skala • Anvendes i hele uddannelsessystemet • Ikke klar trindifferentiering

31. Hovedproblem ved konstruktion af ny skala • Kompatibel med ECTS – en relativ skala • Udtrykke graden af målopfyldelse – en absolut skala Muligt? Kommissionen: Ja – under visse betingelser

35. Forslag til beskrivelse af den nye karakterskala- ”mangelbegrebet”

36. Oversættelsesskala

37. Gennemsnit fra 5000 studentereksamensbeviser

39. Målbeskrivelser Universitetspædagogiske Netværk, Aarhus Universitet

40. Om mål og karakter • Skalaen skal anvendes i hele uddannelsessystemet, og bedømmelsen skal udtrykke graden af målopfyldelse (p 6) • Kommissionen anbefaler, at der udarbejdes præcise målbeskrivelser for de enkelte fag/undervisningsforløb, således at det er muligt at karakterisere graden af målopfyldelse ved en given præstation • Det er en foprudsætning for kommisionens arbejde, at karakterskalaen skal kunne udtrykke graden af målopfyldelse med hensyn til faglig viden (p8)

41. Uddrag fra:Betænkning om indførelse af ny karakterskala til erstatning af 13-skalen, bilag 7 side 119 • ”Det er kommissionen magtpåliggende, at der fokuseres på forbindelsen mellem det generelle og det fagspecifikke. De væsentligste begrundelser er, at en ny karakterskala skal anvendes til absolut vurdering. Dette kræver, at beskrivelsen af karakterniveauer er meget tæt på de faglige mål, og at det i hvert fald ikke er tilstrækkeligt blot at nævne vurderingskriterierne. Hvis lærerne skal kunne bruge en ny karakterskal absolut, er eksistensen af præcise faglige beskrivelser en helt nødvendig forudsætning”

42. Eksempler på udsagnsord i SOLO-taxonomien: • Dybdelæring • ↑ • Abstrakt/udviddet: • reflektere (videnskabsteoretiske grundlag for erkendelsen); • teoretisere, generalisere, formulere hypoteser (understøtte, nuancere, modificere, kritisere kendt teori) • anvende: analysere, undersøge, kritisere, teste, argumentere, forudsige, bedømme, diskutere • Relationel/relateret • sammenligne, relatere, forklare (ligheder-forskelle, styrker-svagheder, årsager-virkninger); • Multistrukturel/sammensat • sammenfatte; • beskrive; • Strukturel/enkel: • opregne; • parafrasere, referere • identificere, navngive; • lære udenad; • ↓ • Overfladelæring • Førstrukturel: misforstået

43. Gængse måder at specificere undervisningsmål (i) Angivelse af stof, der skal gennemgås • emner, teorier, forfattere, artikler, sideta, • Brug af navneord (a) Ingen formål anføres (b) Læringsmål i generelle vendinger • bibringe (grundlæggende, dyberegående, detaljeret) kendskab til noget; give de studerende en (grundlæggende) forståelse af noget; give deltagerne viden om noget; give deltagerne oversigt over noget; give deltagerne indsigt i noget; give indblik i noget; give en indføring i, at indføre de studerende i noget • (slidte, uspecificerede, klicheer) (c) Specifikke læringsmål • Taxanomier, • udsagnsord+navneord

44. Politologisk introduktionskursus, IFSK –et eksempel “gængs” fagbeskrivelse • Fagets sigte er at give de studerende en grundig indføring i generelle politologiske problemstillinger og et overblik over det danske politiske systems udvikling, organisation og virkemåde samt Danmarks placering i den europæiske og internationale politik • Faget indeholder desuden opgavevejledning og en afsluttende skriftlig opgave om dansk politik, hvor de studerende skal demonstrere evner til at kombinere den opnåede viden med empirisk analyse af en selvvalgt problemstilling

45. Polintro – fagbeskrivelse i SOLO-taxonomi Målet er at de studerende - efter at have deltaget i undervisningsaktiviteterne i [fag] - kan: • beskrive hovedtrækkene i de sociale forandringer og konflikter i det danske samfund siden midten af forrige århundrede og relatere disse til teori om nationbuilding • beskrive udviklingen i den politiske mobilisering i samme periode og relatere til teori om politisk kultur og politisk deltagelse • beskrive de vigtigste danske politiske deltagelseskanaler og deres udvikling og relatere til teorier om partier, interesseorganisationer, bevægelser og massemedier • beskrive de centrale statslige og lokale politiske institutioner i Danmark og relatere til teori om forfatninger, valg, parlamenter, styreformer og offentlig forvaltning • beskrive udviklingen i Danmarks relationer til det europæiske og internationale samfund og relatere udviklingen til teori om integration og international • beskrive eksempler på politiske beslutninger og reformer i Danmark og relatere dem til teori om policy-analyse • opregne en række eksempler på politologiske problemstillinger • analysere en mindre selvvalgt problemstilling om dansk politik/det danske politiske system

46. Overvejelser om prøver Anne Lindebo Holm, Dansk Universitetspædagogisk Tidsskrift, nr 1, 2006, pp 13-17. Universitetspædagogiske Netværk, Aarhus Universitet

47. Prøvers validitet

48. … prøvers validitet

49. Skematisk fremstilling af forskellige prøver

50. Solo Ønskede kompetencer Millers trekant