1 / 20

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap. 1. Karaktersetting på masteroppgaver V-2007 2. En eller to sensorer? Et eksperiment Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008.

ankti
Télécharger la présentation

Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Bjørn Erik Rasch:Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap 1. Karaktersetting på masteroppgaver V-2007 2. En eller to sensorer? Et eksperiment Nasjonal karaktersamling i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008

  2. Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) Masteroppgaver fra 6 studieprogrammer Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07)

  3. Masteroppgaver i statsvitenskap 2006 • Utfordring: Svært gode karakterer på visse programmer

  4. Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) Masteroppgaver fra 6 studieprogrammer Tilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07) • Utfordring: Svært gode karakterer på visse programmer • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

  5. Tilfeldig utvalg av 11 oppgaver fra fem universiteter med karakter B Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) 2 masteroppgaver fra hvert studieprogram Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07) • Utfordring: Svært gode karakterer på visse programmer • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger

  6. Hvordan ”sensorene” (flertallet) vurderte de 11 oppgavene som hadde fått B Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap 7 • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) 2 masteroppgaver fra hvert studieprogram Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07) • Utfordring: Svært gode karakterer på visse programmer • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger 3 1

  7. Hvordan de 7 ”sensorenes” stemmer ved vurderingen av de 11 oppgavene fordelte seg (prosent) Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i statsvitenskap 7 • Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet) 2 masteroppgaver fra hvert studieprogram Tilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007 Medlemmene satte karakterer individuelt og begrunnet dem skriftlig Innstilling om masterprogrammer og -oppgaver tidligere (25.09.07) • Utfordring: Svært gode karakterer på visse programmer • Konklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger 3 1

  8. Detaljert oversikt over sensorenes vurderinger DEL 2: Videreføring i form av et sensoreksperiment → Formål å belyse spredning i vurderinger og sider ved interaksjonen i eksamenskommisjoner med to sensorer → 40 sensorer bedømmer samme besvarelse på et innføringsemne på bachelor i statsvitenskap

  9. Sensoreksperiment:To hypoteser HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin. Bjørn Erik Rasch og Sara Kristine Eriksen (2008): ”En eller to sensorer? Et eksperiment.” Arbeidsnotat. Institutt for statsvitenskap, UiO.

  10. Hypotese 2: Teoretisk grunnlag…… Sherif, Muzafer (1937). “An Experimental Approach to the Study of Attitudes”, Sociometry 1: 90-98.

  11. Asch, Solomon E. (1952). Social psychology. Englewood Cliffs, NJ: Prentice-Hall. Hvilken av strekene A, B eller C er like lang som denne? YouTube.comConformity Video Clip ”Asch’sConformityExperiment” http://www.youtube.com/watch?v=DKivdMAgdeA

  12. Hypoteser HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin. HYPOTESE 2. Det første karakterinnspillet fra en sensor i en eksamenskommisjon påvirker i seg selv hvilket forslag den andre sensoren fremmer, og dermed indirekte karakterfastsettelsen. Jeg foreslår en B.

  13. → Besvarelsen til vurdering hadde fått D (D-en ble opprettholdt etter klage) Metode (eksperimentelt design) Medsensors beskjed: ”─Jeg synes ikke det var så lett å vurdere oppgaven, men har til slutt endt opp med å sette karakteren B.”

  14. Resultater: Karakterfordeling for eksperimentgruppe (B) og kontrollgruppe (A) → Besvarelsen til vurdering hadde fått D (D-en ble opprettholdt etter klage) A B C D E

  15. D er modus, median og gjennomsnitt i gruppe A Deskriptiv statistikk for de to sensorgruppene Størst spredning : Gruppe A C er modus, median og gjennomsnitt i gruppe B

  16. Sensorenes ekspertise og erfaring har betydning Forskjeller i gjennomsnittskarakter for ulike grupper av sensorer Feilvurderinger som en sensor gjør blir ikke nødvendigvis rettet opp

  17. Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer)

  18. Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer) Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter

  19. Trenger bedre forståelse av karaktersetting som fenomen (både individuelle og strukturelle mekanismer) Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretter Må ta et skritt tilbake og spørre: Hva er grunnlaget for karaktersettingen?

More Related