Bedömning under luppen

1. Bedömning under luppen Varför detta intresse för bedömning, betyg och examensarbeten?

2. En historia i fyra delar: • Del 1: Vad är det som händer? • Del 2: Läroplanssystem och bedömningskultur • Del 3: Examensarbetets paradoxala roller • Del 4: Resultatbaserad utvärdering Vad bör göras?

3. Del 1: Vad är det som händer?

4. Bedömningar och betyg… verkar finnas överallt! Det är inte bara elever som ska betygsättas mer och tidigare… (ny målrelaterad betygsskala A-F i skolan från 2011) …allt fler underhållningsprogram innebär att människors prestationer bedöms och betygsätts av olika paneler och ”jurysar”. Det är inne med betyg! Plötsligt framstår det sedan ganska länge kända förhållandet att pojkar i genomsnitt har sämre betyg än flickor i ett nytt och problematiskt ljus…

5. Varför? I samhället har perspektivet på hur styrning ska gå till, gått från regelstyrning, över en period av målstyrning till en mer uttalad resultatstyrningav myndigheter, företag och organisationer. Formella utbildningsnivåer – f.a. högre utbildningtillmäts idag en avgörande betydelse för ett lands ekonomiska utveckling och möjligheter i den globala konkurrensen. Utbildningsmeriter – dvs betyg och examina -har blivit allt viktigare för att överhuvudtaget klara sig i yrkeslivet. Andra vägar har försvunnit.

6. Kommer till uttryck i högre utbildning genom: Resultatstyrning– det nya nationella kvalitets-systemet bygger på att Högskoleverket enbart ska utvärdera utbildningarnas resultat: ”Med resultat avses hur väl utbildningen uppfyller de mål som anges i högskolelagen och i examensordningen.” (Regeringen 2010-07-08) Bolognaprocessen samordnar examina i Europeisk högskoleutbildning – genom ”learningoutcomes”, vilket innebär genom övergång till ett resultatbaserat läroplanssystem. Utbildningsmeriternas betydelse– hur bedömning utförs och betyg sätts har i ökande utsträckning blivit en omdiskuterad fråga: (Lärares bedömningar kontra tester – t.ex.Pisa, AHELO)

7. Intresset för bedömning har utvidgats… • Från att mest ha omfattat enskilda lärares eller lärargruppers engagemang för hur de bör lägga upp sin undervisning och utforma bedömningen inom ramen för den kurs de arbetar inom… • Till att också bli en fråga om hur universitetet kan påvisa att studenter vid examen verkligen har utvecklat de läranderesultat som examensmålen anger. • Detta ger en delvis ”ny funktion” för examinationen i svensk högre utbildning, som ställer nya krav på både läroplanssystemet och bedömningskulturen.

8. Del 2: Läroplanssystem och bedömningskultur och det inre dilemmat för examinationens utveckling

9. Vad är ett läroplanssystem? • Det består av alla de beslut, föreskrifter och reglerande dokument som legitimerar elevers eller studenters studievägar och anger ansvars-fördelningen mellan utbildningsanordnare, lärare och studenter. Viktigaste delar: Examensordning samt kurs- och utbildningsplaner. • Kan ha inslag som regleras internationellt, nationellt, på lärosätesnivå eller på institutionsnivå. Med Bolognaprocessen infördes ett internationellt inslag. • Vilka inslag i läroplanerna som betraktas som de centrala eller styrande spelar stor roll för hur man kan utveckla och förändra systemen. Sedan 2007 – läranderesultat/learningoutcomes

10. Läroplanssystemet i svensk högre utbildning • Ett helt modulariserat system - kursen är den fundamentala enheten. • Enbart kurser examineras (G/A); det finns inget fristående, övergripande system för examinationen. • Examensmålen prövas inte direkt i någon examination • Extern examination är inte tillåten. • Betygsskalorna varierar – ännu mer efter Bologna. Inga medelvärden eller slutbetyg tas fram för en examen. • Att ”klara examen” har inneburit att klara av alla kurser. En administrativ addition. • Examinationens uppläggning och utformning har ofta inte beskrivits väl i kursplanen. Den har varit i ”bakgrunden”.

11. Bedömningskulturen i svensk högre utbildning • Stort läraransvar knutet till kursen – bedömningskompetensen utvecklas främst inom kursens disciplinära ram. • Betygssättning hanteras som en kursfråga och beskrivningar av hur den ska gå till är ofta lokala och varierar. • Betygsskalor med få eller inga överbetyg innebär att lärare inte har stor erfarenhet av att arbeta med betygskriterier eller mer komplicerade sammanvägningar av resultat. • Sammanställningar och analyser av utfallet av examinationen gentemot målen har oftast inte efterfrågats. • Svårigheter att återfinna & sammanställa examinationens utformning över tid mot examensmålen, eftersom dokumentationen följer kursen. • RELATIVT OSYNLIG, STORA OKÄNDA VARIATIONER

12. Ömsesidigt beroende: • Läroplanssystemet • Relativt stabilt f 1960 • Decentraliserat 1993 • Examinationen har inte varit i fokus • Lärandemål f 2007 • Bedömningskulturen • Utvecklats långsamt • Disciplinbunden • Integrerad i undervisningen • Fokus på kurs/tentamen • Examinationen ofta hanterad som lärares ”ensak” Nya krav på båda…

13. Bolognaprocessen innebär en resultatorienterad läroplan: • Genom att mål formuleras som förväntade läranderesultat uppstår en tydlig kravspecifikation på vad kursen/utbildningen ska åstadkomma. • Detta innebär att kurs- och utbildningsplaner blir mycket viktigare planerings- och uppföljningsdokument än förut. • När kvaliteten ska följas upp utgör examinationen den pedagogiska aktivitet som ska visa att de faktiska läranderesultaten motsvarar de förväntade. • Beskrivningar av hur examinationen utformas kan därför utvecklas till viktigare inslag i kursplanen än beskrivningar av innehåll eller undervisningens utformning.

14. Det kan gestaltas så här… …när det som tidigare varit dolt eller längst ner hamnar överst

15. Det ”inre dilemmat” för bedömningskulturen • handlaromkonflikten • mellan den gamlabedömningskulturen (decentraliserad, relativtoreglerad och osynlig) • och ökadeförväntningarpåattläraresarbete med prov och bedömningarpåettvälgrundadsättskakunnaanvändasförattbesvarafråganomvilkenkvalitetstudenternassamladeläranderesultatvidexamenhåller.

16. Sverige har ett mixat läroplanssystem: • Examinationen… • styrs av de gamla men bedöms från de nya Nya inslag i läroplanssystemet Gamla inslag i läroplanssystemet

17. Både bedömningskulturer och läroplanssystem utvecklas ganska långsamt

18. Del3: Examensarbetets paradoxala roller ”Vetenskaplighetens och den akademiska skriftspråklighetens inträde i högskolans yrkesprogram”

19. Varför det inte är helt enkelt… • Examinationen, utfall på prov och bedömningar, är det enda underlag som visar faktiska läranderesultat, men då på individnivå och enbart för varje kurs. • Resultatet av examinationen brukar inte sammanställas och jämföras med lärandemålen, varken för kursen (undantag bokslutsmodellen) och ännu mindre för examen. Det går inte att snabbt komma åt ”faktiska läranderesultat” i svensk högre utbildning för att använda dem t.ex. i det resultatbaserade kvalitetssystemet. • Examensarbetet får då en symbolisk roll för att fylla tomrummet, eftersom det är det enda inslaget i examinationen som redovisas och publiceras.

20. Examensarbetets formella status • Det självständiga arbetet/examensarbetet är det enda examinationsinslag som regleras i examensordningen • För alla examina ska ett självständigt arbete av viss omfattning ingå. • Men det är inte överordnat i läroplanssystemet och det prövar inte heller examensmålen direkt. • Det utgör en examinationsuppgift som alla andra – arbetet måste ingå i en kurs och det är gentemot målen i den kursen som examensarbetet ska bedömas. I den kursen kan även ingå andra prov och bedömningar som vägs samman med omdömet för själva uppsatsen. • Vilka examensmål som arbetet (indirekt) kan anses pröva skiljer sig i stor utsträckning från examen till examen.

21. Examensarbetets symboliska betydelse • Sedan 1980-talet har många program i högskolan resursmässigt prioriterat examensarbetet pga dess betydelse för att visa en tillräcklig nivå av vetenskaplighet • Då det är den enda uttrycket för studenternas läranderesultat som är möjligt att granska på ett relativt enkelt sätt, får det symboliskt motsvara en större del av examensmålen än vad som är eventuellt är rimligt. • Från 2011 kommer examensarbeten att användas som huvudsakligt underlag för att bedöma kvaliteten i hela utbildningen. Frågan är om detta bygger på en analys av deras verkliga betydelse för utbildningskvaliteten, på bekvämlighet eller på deras symboliska betydelse?

22. Del 3: Resultatbaserad utvärdering

23. Det nya nationella kvalitetssystemet för högre utbildning införs 2011 • Hela systemet ska bestå av utvärderingar av utbildning på grundnivå, avancerad nivå och forskarnivå samt av examensrättsprövningar • Utvärderingarna på grundnivå och avancerad nivå ska ligga till grund för resursfördelning • Alla examina ska utvärderas vart fjärde år. • Avser en bedömning av utbildningarnas resultat i en tregradig skala • Uppdrag till Högskoleverket att utforma metodiken under hösten 2010 (Regeringsuppdrag 2010-07-08)

24. Bedömning av utbildningens resultat: • Med resultat avses hur väl utbildningen uppfyller de mål som anges i Högskolelagen och i Examensordningen • HSV ska utvärdera i vilken utsträckning de faktiska läranderesultaten motsvarar de förväntade • Det främsta bedömningsunderlaget ska utgöras av utbildningens examensarbeten • Ett antal kvalitetsaspekter för sådana resultat ska tas fram

25. Bedömningen av examensarbeten • Ska inte avse en bedömning av individresultat eller utgöra en överprövning av examinators bedömning • Ska innebära en helhetsbedömning av utbildningens resultat • Ska bygga på en överblick av utbildningens resultat – styrkor och svagheter i hela urvalet arbeten ska relateras till kvalitetsaspekterna (hur urval ska göras tas inte upp) • Det är utbildningens samlade kvalitet på de självständiga arbetena som ska ligga till grund för det samlade omdömet – inte enstaka excellenta eller svaga arbeten.

26. Självvärderingen • Har två syften: • Det viktigaste är att redovisa sådana resultat som inte kan visas genom examensarbeten (t.ex. kliniska färdigheter, anställningsbarhet) • Det andra är att redovisa och förklara förutsättningar som har en mer påtaglig betydelse för utbildningens resultat (som det framgår av examensarbeten och av självvärderingens första del)

27. Och vad betyder det här för oss?

28. Paradoxen för utveckling av examinationen: • Både bedömningskulturer och läroplanssystem utvecklas ganska långsamt – Bolognaprocessen är inte fullt implementerad i svensk högre utbildning. • Det resultatbaserade kvalitetssystemet införs mycket snabbt… • och förutsätter att vi redan arbetar efter resultatorienterade kurs- och utbildningsplaner och dokumenterar och analyserar utfallet av prov och bedömningar så att läranderesultaten kan visas upp.

29. Några slutsatser… • För att examinationen ska kunna uppfylla de förväntningar som den internationella utvecklingen och det nya kvalitetssystemet ger upphov till krävs stöd för ett långsiktigt pedagogiskt utvecklingsarbete. • Både inom läroplanssystemet och bedömningskulturen behöver man bearbeta examinationens utvidgade funktion • En förutsättning för att detta ska bli framgångsrikt är att det finns en god infrastruktur för att dokumentera, arkivera, sammanställa och analysera hur prov och bedömningar genomförs och vilka resultat bedömningen ger upphov till • En sådan utveckling kommer att påverka hur lärare och utbildningsansvariga arbetar med prov och bedömning.

30. Frågor vi behöver ställa oss • Vad visar ett enskilt examensarbete om den kompetens som studenten skaffat sig under utbildningstiden (gentemot examensmålen)? • Vilka resultat från andra prov och bedömningar kan på ett gott sätt komplettera bilden av hur examensmålen nås? Portfoliosystem? • Vad visar hela produktionen av examensarbeten om utbildningens kvalitet? Extern – intern kunskap? • Hur bygger vi upp det pedagogiska stödet för utveckling av goda examensarbeten? • Vad vet vi om kvaliteten i de arbeten som godkänns? • Vilka kvaliteter i hela utbudet av arbeten säger något om kvaliteten i hela utbildningen? Ämnesspridning, metodvariation, anknytning till pågående forskning?