30.april 2008 Eli Ottesen

1. Erfaringer med kvalitetssikring av masterstudiet i utdanningsledelse: tilsynssensorordningen som del av et helhetlig system for vurdering 30.april 2008 Eli Ottesen

2. 1. Forståelse og analyse. Studentene skal tilegne seg innsikt i utdanningens rolle i samfunnet, organisasjonenes interne prosesser og samspillet mellom disse. 2. Forvaltning. Studentene skal utvikle en kompetanse som hjelper dem til å forvalte menneskelige og økonomiske ressurser. 3. Utvikling. Studentene skal utvikle kompetanse i å planlegge, organisere, lede og evaluere læreprosesser og utviklingsarbeid, slik at man fremmer både en individuell og en kollektiv utvikling i organisasjonen. 4. Kritisk vurdering. Studentene skal tilegne seg et praktisk og teoretisk grunnlag for kritisk analyse og vurdering av utdanning. Pedagogikk Organisasjons-teori Økonomi Jus En erfaringsbasert master (120 stp), deltid over 4 år

3. Oppbygging og vurderingsformer

4. Læringsarenaene Fellessamlingene: Forelesninger og seminarvirksomhet Arbeid i basisgrupper Veiledning Individuelt arbeid med pensum og studielitteratur Digitale læringsarenaer Eksamen

5. Kvalitetsarbeidet • Underveis og sluttevalueringer • Elektronisk undersøkelse • Referansegrupper • Diskusjoner i faggruppa • Diskusjoner i programråd • Eksamen • Rapportering • Diskusjoner i faggruppa; veilederforum • Diskusjoner i programråd • Tilsynssensorordning • Årlig rapport : observasjon av eksamen, vurdering av oppgaver, vurdering av besvarelser • Legges fram for faggruppe og programråd; inngår i årlig rapport til fakultetet • Utfordringer ???

6. Tilsynssensoroppgaven: Tilsynssensor • Skal være ekstern • Skal sikre • god standard – sammenliknet med andre norske og utenlandske universiteter • at de vurderingsformene som benyttes ved UV-fakultetet er egnet i forhold til intensjonene for emnene/emnegruppene/programmene • at studentenes kunnskaper og ferdigheter blir prøvet og vurdert på en upartisk og betryggende måte • Skal rapportere til fakultetet etter nærmere avtalte retningslinjer Kvalitetskontroll Studentrettighter Studieutvikling Tilsynssensors rolle i et helhetlig kvalitetssystem??

7. Et eksempel • Sensurmøte, masteroppgaver i utdanningsledelse • Fire masteroppgaver skal sensureres av to kommisjoner: • Observere gjennomføring av sensurmøte; spesielt fokus på veileders rolle og bruken av vurderingskriteriene (se vedlegg) • Oppsummerende møte i etterkant (ca. 13.30) • Kort skriftlig rapport • Gjennomføring av muntlig eksamen – masteroppgaver • Observere gjennomføring av muntlig eksamen; spesielt fokus på veileders rolle og bruken av vurderingskriteriene (se vedlegg) • Oppsummerende møte i etterkant (ca. 14.30) • Kort skriftlig rapport • Prøveforelesning på trinn 1 i masterprogrammet • Vurdere oppgavetekstene i lys av emnets innhold og prøveforelesning som eksamensform (se vedlegg og http://www.uio.no/studier/emner/uv/ils/UTLED4110/ ) • Observere gjennomføring av prøveforelesning; spesielt fokus på sensors rolle (se http://utdanningsledelse.uio.no/masterstudiet/retningslinjer_forelesning.html • Oppsummerende møte i etterkant (ca. 15.30) • Kort skriftlig rapport

8. Noen eksempler fra tilsynssensors vurdering • Sensurmøtene • ble gjennomført slik reglementet foreskriver • det ble i noen tilfeller diskusjon om bruk av kriteriene • i det tilfelle der konklusjonen endte med ”F”, var drøftingen grundig og veileder trukket med i diskusjonen • en ordning der intern veileder ikke samtidig er intern sensor, men kan delta på sensurmøtet, er en forbedring i forhold til den vanlige ordningen der disse to rollene er slått sammen • det var tendenser til at for mye tid ble brukt på detaljer i oppgaven, slik at det ikke ble nok tid til kriteriedrøftingen. • Drøfting og konkretisering av vurderingskriterier i faggruppa • Drøfting og presisering av veileders rolle i faggruppa

9. Noen eksempler fra tilsynssensors vurdering (forts) • Muntlig eksamen, masteroppgave • godt planlagt og gjennomført • kandidatene fikk god orientering om hva som skulle skje under muntlige eksamen • hvor godt kjente studentene kriteriegrunnlaget? • arbeidsdeling mellom intern og ekstern sensor? • det ble lagt vekt på å få kandidatene til å vise både bredde og dybde i sine kunnskaper og vurderinger i forhold til faglige tema som naturlig sprang ut av oppgaven • Presisering av kriteriene (faggruppa) • Sikre at studentene er godt kjent med kriteriene – veiledere, prosjektseminar, eksamensforberedende seminar

10. Noen eksempler fra tilsynssensors vurdering (forts) • I prøveforelesningen skal kandidaten • drøfte og besvare den oppgaven som er gitt, • forankre forelesningens emne i pensumlitteraturen, • bruke eksempler fra egen praksis eller fra den utdanningspolitiske debatten, • vise at han/hun har satt seg inn i relevant litteratur og evner å formidle det aktuelle fagstoffet. Selvstendig argumentasjon og egne, underbygde synspunkt vurderes positivt. • Muntlig eksamen, prøveforelesning • presentasjonene virket overbevisende og ble gjennomført svært tilfredsstillende • de to interne sensorene hvorav den ene kjente kandidatene, bidro til å dempe prestasjonsangsten • gjennom denne eksamensformen får studentene vist en stor bredde av sine kunnskaper og ferdigheter • Sensorene prøvde å differensiere i sine tilbakemeldinger, men på dette punktet kunne det kanskje være en fordel å utvikle kommentarene noe i en mer standardisert retning bygget på gitte kriterier. • dette er en eksamensform som kan utvikles videre da den inneholder elementer som gir andre og mer relevante utfordringer til eksamenskandidatene enn mer vanlige eksamensformer • det bør overveies om det bør brukes karakter • Tydeligere kriterier utarbeidet • Skjema for vurdering utarbeidet • Trening på framlegg underveis i studiet

11. Utfordringene • For studieutvikling: Utenfra-blikkets betydning for utvikling av studiekvalitet - et av mange innspill. Vekting og relevans? Evalueringstrøtthet? • For studentenes rettigheter: En sikring av nivå – men har det betydning? • I kvalitetssystemet på institusjonen: byråkratisk ordning eller redskap for kvalitet? • Tid, rammer og institusjonell forankring?