Námskrárfræði og námsmat – október 2004

1. Námskrárfræði og námsmat – október 2004 Um gerð prófa o.fl. Meyvant Þórólfsson 15/04 2005

2. Föstudagur 15. apríl: • Síðasti fyrirlestur um námsmat í Skriðu kl. 8.30-10.00. • Samvinnuverkefni sett af stað í Skriðu og Bratta kl. 10.20. Hópar úr DEF mæta í Skriðu og og hópar úr ABC í Bratta. • Farið af stað í vinnu eftir það. Kennarar verða til taks kl. 11-15 í stofu K-207 til að svara spurningum og aðstoða Mánudagur 25. apríl: • Allir mæta í Skriðu kl. 9.30. Hópar kynna verkefni sín í framhaldi af því. Útfærsla verður kynnt nánar síðar.

3. Réttmæti og áreiðanleiki

4. Réttmæti og áreiðanleiki • Vigtin er vanstillt og sýnir alltaf 2 kg of lítið við endurteknar mælingar. Er mælingin áreiðanleg (stöðug)? • Já, en þrátt fyrir áreiðanleikann (stöðugleikann) er hún röng. Er mælingin réttmæt? • Nei, hún gefur ekki rétta mynd af veruleikanum. • Vigtin er biluð (ónothæf) og sýnir mismunandi tölur við endurteknar mælingar. Er mælingin áreiðanleg (stöðug)? Nei. Réttmæt? Nei.

5. Réttmæti og áreiðanleiki • Validity:Réttmæti (gildi).Hátt réttmæti gefur okkur gilda ástæðu til að geta alhæft um námsárangur/námsstöðu út frá matsniðurstöðum. Gefur mælingin (vigtin, prófið) sannfærandi (rétta) mynd af stöðu þess sem mældur er? • Reliability:Áreiðanleiki (stöðugleiki).Segir til um nákvæmni og stöðugleika matsniðurstaðna? Myndi sama mælingin (prófið) gefa nokkurn veginn sömu niðurstöðu, ef það væri endurtekið á öðrum tíma eða af öðrum kennara?

6. Samning prófa Til að próf og annað námsmat standist kröfur: • ...þarf einkunnin (vitnisburðurinn) fyrir það að gefa traustar og heiðarlegar upplýsingar um það hversu vel nemandi hefur náð tökum á því sem hann átti að læra (learning outcomes). • ...þarf einkunnin að endurspegla vel það kerfi sem skólinn hefur sett sér í námsmati og einkunnagjöf. • ...þarf það að vera fjölbreytt og hafa sem hæst réttmæti, þ.e. margs konar matsatriði þurfa að liggja til grundvallar einkunn.

7. Einkunnagjöf Prófseinkunnir geta átt sér þrenns konar grundvöll: • A)Markmið og námsþættir (learning outcomes) sem viðmið (e. absolute grading = markmiðabundnar einkunnir). • B)Hópurinn sem var metinn, t.d. bekkurinn, árgangurinn, allt landið...(e. relative grading = samanburðareinkunnir). ...einnig: • Nemandinn sjálfur og framfarir hans (ónávæmur grundvöllur við einkunnagjöf).

8. Markmiðabundnar einkunnir (absolute grading)

9. Samanburðareinkunnir (relative grading) sbr. hópmiðað mat Einkunnir: Hlutfall nemenda

10. Markmiðabundnar einkunnir Kostir: • Einkunnir endurspegla beint hæfileika nemenda án samanburðar við aðra • Flestir, jafnvel allir nemendur geta “skorað hátt” ef þeir leggja sig fram og kennsla er góð Gallar: • Viðmið geta verið óljós og því erfitt að treysta á • Viðmið og prófatriði geta verið breytileg og því misþung og mismikilvæg.

11. Samanburðareinkunnir Kostir: • Auðvelt að lýsa raðeinkunnum og túlka þær • Einkunnir greinandi og hjálpa því við að spá um getu nemenda og velja t.d. inn á næsta skólastig. Gallar: • Erfitt er að ákveða dreifingu sem er réttlát og eðlileg • Merking einkunna getur verið breytileg eftir því hver geta hópsins er. • Hægt er að gefa einkunnir án þess að ljóst sé hvað nemandi gat • Eins og að velja í lið í leikjum, þeir sömu alltaf út undan.

12. Einstaklingsviðmið • Freistandi að gefa börnum sem eiga við námserfiðleika háar einkunnir fyrir að bæta sig, leggja sig fram og ná framförum miðað við eigin stöðu. • Meginvandi: Það ruglar merkingu einkunna, sér í lagi þegar próf eru annars vegar, og ber því að forðast. • Velja frekar aðrar leiðir fyrir endurgjöf og námshvatningu. N. Gronlund

13. Undirbúningur – Hvað? Hvernig? Áður en samning prófs hefst þarf að huga að ýmsu: • Hvaða hugmyndir/hugtök viljum við að nemendur hafi meðtekið? Hvað eiga nemendur að hafa lært? Hvað gerðum við ráð fyrir að þeir vissu og gætu? • Hvers konar frammistöðu tökum við gilda sem vísbendingu um að nám hafi farið fram, þ.e. vísbendingu, við framkvæmd mats, um að þeir viti og geti? Dæmi:“Útskýri hugtakið orku, þekki orkumyndir, orkuuppsprettur..noti hugtakið við lausn viðfangsefna” • Hvers konar prófspurningar henta best til að meta þessa frammistöðu?

14. Undirbúningur – Hvað? Hvernig? 22. Riðstraumur er rafstraumur sem einkennist af því að rafeindirnar • ( ) breyta stefnu sinni á reglubundinn hátt. • ( ) hreyfast ávallt í sömu stefnu. • ( ) hreyfast frá – skauti að + skauti. • ( ) hreyfast taktbundið frá einu straumefni til annars. Námsmatsstofnun - Úr sýnisprófi í náttúrufræði

15. Undirbúningur – mikilvæg atriði Við prófgerð er heppilegt að: • Hafa skýr og auðmetin (mælanleg) markmið sem endurspegla margbreytilega hæfileika. • Prófverkefnin endurspegli vel þessi markmið. • Beita skilvirkum og viðeigandi matsaðferðum eftir því sem kostur er, þannig að matið gefi beinar og óbrenglaðar upplýsingar um þá hæfileika sem á að meta. • Gæta samræmis milli kennslu, náms og prófs.

16. Undirbúningur - námsafrakstur • Flokkunarkerfi Blooms getur hentað sem grunnur fyrir kortlagningu námsafraksturs (learning outcomes): kunnátta/þekking, skilningur, beiting, greining, nýmyndun, mat, leikni. • Orð sem lýsa getu (action verbs): Þekkir, greinir á milli, velur, lýsir, mátar við, útskýrir, spáir fyrir um, setur fram, flokkar, gagnrýnir, ályktar ...(sjá töflu 3.2) • Eftir það liggur beint við að undirbúa sjálfa prófsamninguna: a)Prófið hannað (atriðatafla), b)Valin viðeigandi prófatriði, c)Prófatriðum skipað niður, d)Hugað að fyrirmælum í prófinu.

17. Undirbúningur-atriðatafla-stærðfræði sbr. bls. 42 “outcomes” Inntak/innihald

18. Undirbúningur-atriðatafla-samfélagsfr. sbr. bls. 42 “outcomes” Inntak/innihald

19. Undirbúningur-Val prófatriða (test items) Þegar prófaatriði eru valin stendur valið milli: • Fjölvalsprófatriða (Selection-Type Items): krossaspurningar, rétt-rangt spurningar, pörunarspurningar og túlkunarverkefni. Og • Innfyllingaratriða (Supply-Type Items): Stutt eyðufyllingasvör, stuttar ritgerðaspurningar, lengri ritgerðaverkefni.

20. Undirbúningur-traust prófatriði, traust próf Þegar prófaatriði eru samin þarf að huga að: • Orðalagi: Svo þeir sem kunna efnið svari örugglega rétt og þeir sem ekki kunna geti ekki rambað á rétt svar. • Fjölda prófatriða og lengd prófs: Þetta fer eftir aldri nemenda, próftíma, tegundum prófatriða, til hvers á að nota niðurstöður. Hversu hás réttmætis er krafist? • Hvernig prófatriðum er komið fyrir-raðað upp? Svipuð atriði saman. Erfiðari atriði síðast.

21. Undirbúningur-traust prófatriði, traust próf Þegar prófaatriði eru samin þarf að huga að: • Tilgangi og mikilvægi hvers prófatriðis: Hvert atriði þarf að gegna sínu hlutverki og uppfylla kröfur um réttmæti og áreiðanleika. • Að prófatriði falli vel að mismunandi markmiðum: Viljum við hlutlæg matsatriði sem reyna á minni? Viljum við meta frumkvæði? Hugmyndaflug? Sköpun? Gagnrýna hugsun?

22. Fjölvalsspurningar-krossar Krossaspurningar: • Langalgengasta gerðin af prófatriðum • Má nota til að meta margvíslegan námsafrakstur (learning outcomes). • Eru vönduð prófatriði ef rétt er staðið að samningu og eru jafnan trygging fyrir miklum stöðugleika (áreiðanleika). • Veikleikar: Ekki ákjósanleg til að meta “higher-order thinking”. Erfiðara að ná háu réttmæti með krossaspurningum einum saman. Erfitt að semja þær.

23. Eðli krossaspurninga Krossaspurning samstendur af: • Stofni (Stem) sem gefur til kynna meginefni spurningarinnar, eitthvert vandamál sem þarf að bregðast við. Getur verið bein spurning eða ókláruð fullyrðing. og • Valmöguleikum með mögulegum lausnum á vandamálinu. Einn möguleikinn er réttur en hinir eru rangir svarmöguleikar eða villusvör (distractors).

24. Eðli krossaspurninga • Sama krossaspurning getur innihaldið spurningu eða ófullkomna fullyrðingu í stofni. Það síðarnefnda er jafnan heppilegra. • Stundum er látinn felast sannleiki í öllum svarmöguleikum, en krossa á við “besta svarið”. Reynir meira á skilning og rökhugsun. • Svarmöguleikar ýmist þrír, fjórir eða fimm.

25. Notkun krossaspurninga Að meta þekkingu/kunnáttu: • Hentar mjög vel krossaspurningaforminu • Reynir mest á hvort nemendur muna staðreyndir, heiti, reglur o.s.frv. • Getur spannað yfir mjög vítt svið: orðaforði, merking hugtaka, flokkun, sértæk þekking, orsakir, afleiðingar o.s.frv.

26. Dæmi um krossaspurningu sem metur þekkingu – reynir á minni “Outcome”: Þekkir helstu persónur sem koma við sögu á kristnitökutímanum. Tveir menn komu mikið við sögu þegar kristni var lögtekin á Íslandi. Þeir voru: ( ) Haraldur lúfa og Þangbrandur ( ) Þorsteinn surtur og Þorgeir Ljósvetningagoði *( ) Hallur á Síðu og og Þorgeir Ljósvetningagoði ( ) Gissur hvíti og Gísli Súrsson

27. Notkun krossaspurninga Að meta einfaldan skilning: • Hentar vel til að fá hugmyndir um hversu vel nemandi skilur meginefnið án þess að beita skilningi sínum í rituðu máli. • Gefur möguleika á að meta merkingu (þýðingu), hvort nem. finnur dæmi um eða spáir fyrir um. • Einkum tvenns konar spurningaform: a)Venjulegar skilningsspurningar b)Skilningsspurningar sem tengjast beitingu, aðferðum, ferlum o.s.frv.

28. Dæmi um krossaspurningu sem metur skilning “Outcome”: Getur túlkað merkingu hugmyndar. Sú fullyrðing að Íslendingar geti orðið sjálfum sér nógir um orku í framtíðinni merkir að hér á landi: ( ) finnist nóg af olíu næstu hundrað árin *( ) sé næg orka í náttúrunni sem hafi ekki verið beisluð enn ( ) sé nóg af ónýttri vatnsorku til stóriðju annarra framkvæmda ( ) verði alltaf hægt að afla orkuríkrar fæðu

29. Notkun krossaspurninga Að meta beitingu: • Slík prófatriði meta skilning en krefjast þess jafnframt að nemendur sýni hvort þeir geti nýtt sér upplýsingar við ákveðnar aðstæður, beitt þeim. • Mikilvægt er við gerð krossaspurninga sem meta skilning og beitingu að nemendur hafi ekki lært atriðin áður. Annars er veriðað prófa þekkingu (minni), ekki skilning eða beitingu. • Dæmi: Fjarlægð milli tveggja staða metin með lestri af landakorti á ákveðnum hlutföllum.

30. Hvers þarf að gæta við samningu krossaspurninga? • Gæta þarf að því að spurningin (prófverkefnið) meti fyrirfram skilgreindan námsafrakstur (learning outcome). • Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar skiljist án þess að lesa svarmöguleikana. • Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til að forðast margræðni (ambiguity).

31. Hvers þarf að gæta við samningu krossaspurninga? • Ekki endurtaka sömu orð og orðasambönd í svarmöguleikum, heldur setja það í eitt skipti fyrir öll í stofninn sem á við allt. • Jákvætt orðalag í stofni fremur en neikvætt hefur hærra uppeldis- og menntunargildi og er því jafnan ákjósanlegra. • Ef nota þarf neitanir í stofni þarf að undirstrika þær eða setja í hástafi svo þær sjáist. • Ekki má orka tvímælis hvert er réttasta svarið.

32. Hvers þarf að gæta við samningu krossaspurninga? • Gæta þarf að því að allir svarmöguleikar séu í jöfnu samræmi við stofninn, ekki bara rétta (réttasta) svarið. Ekki mega leynast vísbendingar í spurningaforminu. • Forðast ber orðalag sem hjálpar nemendum að velja rétta svarið eða hafna röngu svari. • Æskilegt að gera villusvör (distracters) freistandi svarmöguleika. • Hafa breytilega lengd á réttu svörunum til að forðast vísbendingar.

33. Hvers þarf að gæta við samningu krossaspurninga? • Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur. • Hafa breytilega staðsetningu á rétta möguleikanum. Nota handahófskennda aðferð. • Stýra má erfiðleika spurningar hvort sem er með efni stofnsins eða svarmöguleikum.

34. Hvers þarf að gæta við samningu krossaspurninga? • Gæta að því að prófatriði standi sjálfstæð, innihaldi ekki upplýsingar sem nýtast í öðrum prófatriðum o.s.frv. • Framsetning prófatriða skiptir máli. Valmöguleikar séu í dálki. Skýrara fyrir nemendur, auðveldar yfirferð. • Gætt sé að stafsetningu og greinarmerkjasetningu. • BRJÓTA MÁ ALLAR FRAMANGREINDAR REGLUR SÉ ÞESS ÞÖRF!

35. Aðrar fjölvalssp. en krossaspurningar Stundum er æskilegt að velja aðrar leiðir en krossa: • Ef aðeins er um að ræða tvo svarmöguleika er heppilegra að nota rétt-rangt (True-False) spurningu. • Ef um er að ræða marga sambærilega þætti getur verið betra að nota pörunarspurningar (Matching exercise). • Ef verið er að meta greiningu, túlkun eða aðra flóknari þætti náms getur verið heppilegra að velja túlkunarverkefni(Interpretive exercise).

36. Rétt-rangt (S/Ó) verkefni Rétt-rangt verkefni: • Mismunandi útfærslur til: Já/nei, sammála/ósammála, satt/ósatt eða jafnvel staðreynd/skoðun. • Stundum er um að ræða safn af skyldum S/Ó spurningum í sama prófverkefni. Hvað af eftirfarandi...

37. Dæmi um Rétt-rangt (S/Ó) verkefni Hver eftirfarandi hugtaka eru notuð yfir myndir orku (orkuform)? Settu hring utan um S ef orðið er notað yfir myndir orku (orkuform), settu annars hring um Ó. S Ó Stöðuorka S Ó Ljósorka S Ó Hraðaorka S Ó Hreyfiorka S Ó Fæðuorka

38. Rétt-rangt (S/Ó) verkefni Atriði til að hafa í huga við samningu S/Ó spurninga: • Mikilvægt að hafa fullyrðingar hnitmiðaðar með einungis einni meginhugmynd. • Orðalag skýrt og án vafaatriða. Ekki nota óljóst orðalag • Nota neitanir sparlega, einnig tvöfaldar neitanir. Prófar fremur lesskilning heldur en það sem átti að meta. • Ekki spyrja um sanngildi skoðana nema þær tengist ákveðnum heimildum, einstaklingum o.s.frv.

39. Rétt-rangt (S/Ó) verkefni Atriði til að hafa í huga við samningu S/Ó spurninga: • Ef um er að ræða mat á sambandi orsakar og afleiðingar, þá þurfa fullyrðingarnar að vera sannar. • Varast að nota óþarfa vísbendingar, t.d. “alltaf”, “aldrei”, “aðeins”, “oftast” eða “stundum”.

40. Pörunarverkefni Pörunarverkefni: • Í raun afbrigði af krossaspurningaforminu. • Heppilegt er að skipta yfir í pörunarspurningar þegar sömu valmöguleikar eru síendurteknir í nokkrum krossaspurningum.

41. Pörunarverkefni Að hverju þarf að huga við samningu pörunarverkefna: • Mikilvægt að hafa prófatriðin einsleit, t.d. öll um vísindamenn og uppgötvanir þeirra. • Hafa möguleikana ekki of marga, innan við 10. • Hafa fjölda atriða í vinstri (forsendur) og hægri dálki (svör) ekki þann sama. Gefa líka möguleika á fleiri en einni tengingu við sama svarmöguleika.

42. Dæmi um pörunarspurningu Í dálki A eru fullyrðingar um persónur sem komu við sögu við kristnitökuna á Íslandi. Í dálki B er nöfn nokkurra persóna sem þá komu við sögu. Tengdu með striki nafn úr dálki B við fullyrðingu (fullyrðingar) í dálki A:

43. Pörunarverkefni Að hverju þarf að huga við samningu pörunarverkefna: • Æskilegt að hafa svörin í stafrófs- eða númeraröð. • Tilgreina þarf í fyrirmælum hvað gildir, t.d. að nota megi sama svarmöguleika oftar en einu sinni. • Láta pörunarverkefni ekki skiptast milli blaðsíðna í prófi.

44. Túlkunarverkefni Túlkunarverkefni: • Sett er fram einhvers konar kynningarefni, t.d. efnisgrein, tafla, graf, kort eða mynd og ýmis færni er metin út frá því með fjölvalsspurningu, t.d. greining, læsi á upplýsingar eða túlkun.

45. Dæmi um túlkunarverkefni Lestu eftirfarandi ummæli ungs bónda á Austurlandi: • “Við viljum halda náttúrunni ósnortinni og við viljum ekki að það sé gengið á orkuforða okkar hér eystra. Þegar hefur ómetanlegum náttúruperlum verið fórnað og við megum búast við a.m.k. 200% lækkun á verði fasteigna ef þessi virkjanaáform verða að veruleika því þetta fer allt á hausinn!.” • Semja má bæði krossaspurningar og Ó/S verkefni sem prófa nemendur í að skilja, túlka og greina slíka texta, merkingu þess sem þar er sagt og/eða sanngildi.

46. Túlkunarverkefni Að hverju þarf að huga við samningu túlkunarverkefna: • Velja kynningarefni sem hæfir þeim námsafrakstri(learning outcomes) sem á að meta. • Velja kynningarefni sem er hæfilega framandi. • Hafa kynningarefnið stutt og læsilegt. • Ekki hafa spurningar þannig að hægt sé að svara þeim út frá almennri þekkingu, án þess að horfa á kynningarefnið. • Fylgja má vinnureglum um fjölvalsverkefnaform sem hafa verið áður nefnd.