Vurdering for læring Osloprøver i naturfag november 2008

1. Vurdering for læringOsloprøver i naturfagnovember 2008

2. Hovedpunkter • Hva måler prøvene og hvordan? • Hva forteller resultatene? • Hvor ligger utfordringene? • Hvordan følge opp egne resultater?

3. 1) Hva måler prøvene og hvordan? Tar ”temperaturen” på det faglige nivået Måler kunnskaper og ferdigheter innenfor hovedområder Kompetansemålene utgangspunkt for oppgavekonstruksjon Grunnleggende ferdigheter Hverdagsforestillinger og feilforestillinger

4. 1) Hva måler prøvene og hvordan? Noen begreper knyttet til tester og testing: Validitet Reliabilitet og korrelasjon Standardavvik Z-skåre Målefeil

5. a) Validitet • Om vi måler det vi utgir oss for å måle • Summen av evidens for og konsekvensene av tolkning og bruk av testresultatene

6. Relevant testinnhold Testens indre struktur Testens ytre struktur Underliggende prosesser Endres prosessene over tid? Påvirkes resultatet av nye læreplaner? a) Validitet • Rekkefølge av oppgaveformat • Rekkefølge av oppgaver • Informasjon • Tid • Forstyrrelser • Juks

7. b) Reliabilitet og korrelasjon • Pålitelighet • Konsistent • Tilfeldige feil • Systematiske feil Tilfeldig feil: To sensorer retter litt forskjellig s.a. ”resultatlista” endrer seg: lav korrelasjon og påliteligheten synker Systematisk feil: Den ene sensoren gir systematisk ett poeng mer s.a. ”resultatlista” er identisk: høy korrelasjon og høy pålitelighet

8. b) Reliabilitet og korrelasjon • TIMSS er en pålitelig test • Dersom Osloprøven plasserer elevene i samme rekkefølge som TIMSS, er Osloprøven pålitelig • Dette kan vi ikke undersøke – hva gjør vi?

9. b) Reliabilitet og korrelasjon • Vi deler Osloprøven i to og korrelerer halvdelene med hverandre! • Dersom halvdelene plasserer elevene i samme rekkefølge, har vi høy indre konsistens reliabilitet • Indre konsistens reliabilitet uttrykkes ved α • Hva gjør vi for å øke α ?

10. b) Reliabilitet og korrelasjon • Vi piloterer oppgavene! • Vi velger ut oppgaver som korrelerer høyt med totalskåre • Disse oppgavene vurderer elevene konsistent

11. c) Standardavvik La eleven i har skåresum xi La gjennomsnittet være X Elevens avvik fra middelverdien: xi-X Eks: xi - X = 9 - 25,4 = - 16,4 Elever under gjennomsnittet har negativt avvik, mens de over har positivt avvik Det gjennomsnittelige avviket kalles standardavviket (SD) Standardavviket uttrykker spredning i skåresum

12. d) Z-skåre Vi kan standardisere fordelingen ved å transformere til z-skåre Denne fordelingen har gjennomsnitt 0 og standardavvik 1

13. d) Z-skåre Oppgave som virket godt Riktig Oppgave som ikke virket Feil, men valgt av mange flinke elever Riktig Vis oppgavene Areal = 0,95 Areal = 0,95 Areal = 0,68 2,5 % 2,5 % Ved å studere z-skåreverdier, kan vi lett si noe om hvor sterk en elev er relativt til andre elever Figuren viser at elever med z-skåre over 2 er blant de 2,5 % sterkeste

14. e) Målefeil Standard målefeil for hver elev er gitt ved Standardfeilen for gjennomsnitt er gitt ved Standardavviket = 8,6 poeng Denne forsøker vi å øke så målefeilen blir liten

15. Hovedpunkter • Hva måler prøvene og hvordan? • Hva forteller resultatene? • Hvor ligger utfordringene? • Hvordan analysere og tolke egne resultater?

16. 2) Hva forteller resultatene?Deltakelse og retting av åpne oppgaver • 5. trinn: • 4 skoler ikke rettet/lagret koder på åpne oppgaver • 2 skoler mindre enn 70 % rettet/lagret • 8. trinn: • 1 skole ikke rettet/lagret koder på åpne oppgaver • 3 skoler mindre enn 70 % rettet/lagret

17. 2) Hva forteller resultatene?Var prøven på 5. trinn vanskelig?

18. 2) Hva forteller resultatene?Var prøven på 8. trinn vanskelig?

19. 2) Hva forteller resultatene?Elevdyktighet og oppgavenes vanskegrad – 5. trinn

20. Fire begreper: væske, fast stoff volum, temperatur

21. 2) Hva forteller resultatene?Elevdyktighet og oppgavenes vanskegrad – 8. trinn

23. 2) Hva forteller resultatene?Argumentasjon som kompetanseutviklende faktor • ”Hva betyr det å være god og hvordan kan jeg bli bedre?” • Kunne begreper og deres naturfaglige innhold • Kunne bruke begrepene i argumentasjon/begrunnelse • Kunne kommunisere argumentasjonen skriftlig

27. Se rekoding

28. 1. poeng 2. poeng

29. Resultater 5. trinn Hvor ”henter” skolene poengene sine? Gjennomsnitt = 25 Fenomener og stoffer: Min = 7 Max = 17 Gjennomsnitt = 12

30. Resultater 8. trinn Hvor ”henter” skolene poengene sine? Gjennomsnitt = 29

31. Hovedpunkter • Hva måler prøvene og hvordan? • Hva forteller resultatene? • Hvor ligger utfordringene? • Hvordan følge opp egne resultater?

32. 3) Hvor ligger utfordringene? Areal = 0,95 Areal = 0,68 50 % av arealet ligger mellom - 0,67 og 0,67 25 % av arealet ligger til venstre for verdien - 0,67 Vi har definert skoler med Z-skåre under - 0,67 som lavt presterende og skoler med Z-skåre over 0,67 som svært høyt presterende - 0,67 0,67

33. 3) Hvor ligger utfordringene? Skolenes gjennomsnittelige poengsum (Z-skåre 5. trinn) Z-skåre = - 0.67 Z-skåre = + 0.67

34. 3) Hvor ligger utfordringene? Skolenes gjennomsnittelige poengsum (Z-skåre 8. trinn) Z-skåre = - 0.67

35. 3) Hvor ligger utfordringene?Gjøre for å gjøre – ikke for å lære !? Hvor ofte hender noe av dette i naturfagtimene?

36. 3) Hvor ligger utfordringene?Gjøre for å gjøre – ikke for å lære !?

37. Praktiske aktiviteter

38. Aktivitet 1: Ballongbil • Fenomener og stoffer: • Når vi blåser inn i ballongen øker antall molekyler og disse har masse (vekt) 5. årstrinn

39. 3) Hvor ligger utfordringene?Gjøre for å gjøre – ikke for å lære !? Aktivitet 1: Ballongbil • Fenomener og stoffer: • Hvis vi varmer opp ballongen beveger molekylene seg raskere, avstanden mellom dem øker, tettheten avtar og ballongen blir lettere enn luftmengden den fortrenger 5. årstrinn

40. Praktiske aktiviteter

41. 3) Hvor ligger utfordringene?Gjøre for å gjøre – ikke for å lære !? Aktivitet 2: Modell for stigende havnivå • Forskerspire • Elevene diskuterer og setter opp hypoteser • Samtaler om resultatet og avgjør hvilke hypoteser som styrkes/svekkes

42. 3) Hvor ligger utfordringene?Gjøre for å gjøre – ikke for å lære !? Aktivitet 2: Modell for stigende havnivå 5. årstrinn

43. 3) Hvor ligger utfordringene?Grunnleggende ferdigheter – lesing i naturfag 8. årstrinn

44. 3) Hvor ligger utfordringene?Grunnleggende ferdigheter – lesing i naturfag 8. årstrinn

45. 3) Hvor ligger utfordringene?Elevene bærer med seg hverdagsoppfatninger! 8. årstrinn

46. Hovedpunkter • Hva måler prøvene og hvordan? • Hva forteller resultatene? • Hvor ligger utfordringene? • Hvordan følge opp egne resultater?

47. 4) Hvordan følge opp resultater? • Bruk resultatene fra Osloprøvene som redskap for tilpasset opplæring! • Bruk praktiske aktiviteter til å skape faglig nysgjerrighet og interesse! • Knytt fagkunnskaper til praktiske aktiviteter! • Legg vekt på lesing i naturfag! (tekster, begreper, bilder, animasjoner, grafer…) • Styrk læreres fag- og fagdidaktiske kunnskaper for å kunne identifisere og håndtere hverdagsoppfatninger!

48. Elev 3759 krysset av alternativ 3 på spørsmål s1.1 Eleven fikk totalt 25 poeng… … som er -0,05 std.avvik under gjennomsnittet … men fikk ingen poeng på det ”åpne” spørsmålet s3.7 4) Hvordan følge opp egne resultater? Rapportering av resultater til skolene

49. Skolen ligger 0,04 std. avvik over gjennomsnittet … 0,35 std. avvik under gjennomsnittet i ”Kropp og helse” Alle på skolen svarte riktig på s1.1 …mens gjennomsnittet for Oslo var 88 % … og 0,28 std. avvik over gjennomsnittet i ”Fenomener og stoffer” 4) Hvordan følge opp egne resultater? Rapportering av resultater til skolene