Hindamise roll hariduses

1. Hindamise roll hariduses Aaro Toomela neuropsühholoogia professor Tallinna Ülikool Psühholoogia Instituut

2. Taust: Gümnaasiumi lõpetamiseks tuleb teha riigi- ja koolieksamid; koolieksami valmistavad ette koolid Eksam on olemuselt uuring. Igasuguse uuringu läbiviimisel on kasulik enne uuringut vastata neljale küsimusele: 1. Mida ma tahan teada saada? 2. Miks ma tahan seda teada saada? 3. Kuidas ma saan teada, mida tahan? 4. Kas vastused eelnevale kolmele küsimusele on omavahel kooskõlas?

3. Teadusuuringu puhul reeglina vastatakse küsimused ülaltoodud järjekorras. PGS ei määra, mida peaks teada saama, kuid kohustab läbi viima uuringu. Seega peame esmalt vastama hoopis teisele küsimusele – miks me tahame uuringut läbi viia? “Õige” vastus: (1) seadus kohustab. Sel juhul on järgnev lihtne ... ... koostame millegi, mis meenutab eksamit, viime läbi ja hindame koostatu tulemusi viisil, mis meenutab eksamit, ja laseme noortel rahus gümnaasiumi lõpetada.

4. Nii võib, aga see oleks raiskamine – vaeva peab niikuinii nägema. “Õige” vastus: (2) Tahame uuringu-eksamiga midagi teada saada. Mida? Miks? Kuidas? 2.1.1. Mida? Tahame teada-kirjeldada õpilase taset eksamiaines.Uurime, kas õpilane omandas eksamiaines mingitele kooli poolt määratud kriteeriumidele vastavad teadmised ja oskused 2.1.2. Miks? ... (a) Et teada, mida teame niigi, kuna õpetajad kontrollivad kogu õppe ajal?

5. 2.1.2. ... (b) Et kontrollida õpetajat? * See ei ole aprioorselt välistatav eesmärk! Meil on alust kahtluseks, et osa õpetajate tase ei ole piisavalt hea: õpetajate pedagoogiline ette-valmistus on erineval tasemel; kaootiline täiend-koolitus ei taga selliste erinevuste kadumist 2.1.3. Kuidas? Peab leidma, kuidas vastava aine oodatava omandamise taseme kriteeriumid määrata. ... Siin võib tekkida probleeme ... ... Kui määrab õpetaja, siis ta saab teisi eksitada; kui keegi teine, siis probleemiks “teise” oskus, eriti kooli unikaalse õppesuuna puhul

6. * Koostatav eksam peab sisuka tõlgendamise võimaldamiseks vastama kindlatele reeglitele – eksam peab olema usaldusväärne ja valiidne. Igasugune mõõtmine saab olla valiidne ainult siis, kui on ka usaldusväärne kuigi saab olla usaldusväärne ja üldse mitte valiidne.

7. ** Usaldusväärsus iseloomustab eksamitulemuse saamise protsessi – kas tulemused oleksid korratavad? Näiteks ... ~ eksamitulemuste hinnangud ei tohi seostuda konkreetse hindajaga (interobserver reliability) ~ eksami korduv tegemine peaks andma samasuguseid tulemusi (test-retest reliability) ~ sama teadmist või oskust hindav erinev küsimus või ülesanne peaks andma samasuguse hinnangu (inter-item reliability)

8. Näide psühhomeetrilistest probleemidest. Meil on ülesanne: Kuubikujulisse veemahutisse mahub täpselt 1 m3 vett. 1) Milline on selle veemahuti serv? Vastused: 1 m * Sirge * 90° * ruudu kujuline * kandiline * terav * lahtine

9. 2) Kui palju plekki kulub sellise pealt lahtise mahuti valmistamiseks? Vastused: 5 m2 * 5 ruudukujulist plekki, mille külg on 1 m * mitu tonni * 5 plekki Vastused osutavad, et küsimused pole usaldusväärne (teises sõnastuses ei pruugi tulemus olla sama; raskusi kodeerimisega ja “õige” vastuse määratlemisega) ja seetõttu ei saa olla ka valiidne.

10. ** Valiidsus seostub ka taustsüsteemi valikuga, mille suhtes/mis mõttes uuritakse õpilase taset: ~ Formaalse tausta suhtes, näiteks õppekava ~ Õpitu mäletamise mõttes – kas teab fakte ja oskab lahendada näidisülesandeid ~ Õpitu kasutamisoskuse mõttes – kas oskab õpitut rakendada uutes teadmiste ja oskuste valdkondades ~ Õpitu terviklikkuse mõttes – kas on omandanud kaootilise kogumi teadmisi ja oskusi või tervikliku arusaama antud ainest

11. ** Erinevad eksami eesmärgid – taustsüsteemid – eeldavad, vähemalt osaliselt, erinevaid eksamiküsimusi, teste, ülesandeid. Kuiküsimuste kogu kirjeldab seda nähtust, mida tahame kirjeldada, on eksam valiidne. ** Taseme kirjeldamiseks tehtud eksami koostamisel on valiidsus suhteliselt lihtsalt saavutatav, see ei eelda erilisi teadmisi.

12. Sõltumata põhjendustest on taseme kirjeldamine eesmärgina puudulik – sama läbiviimiseks kuluva ressursiga saab koolieksami teha oluliselt sisukamal põhjusel: 2.2.1. Mida? Tahame (lisaks tasemele) prognoosidaõpilase edasise arengu potentsiaali 2.2.2. Miks? Toetada õpilaste karjäärivalikuid ja julgustada neid, kes seda vajavad. 2.2.3. Kuidas? Lisanduvad tingimused, mis peavad olema täidetud selle eesmärgi saavutamiseks. ...

13. Valiidsuse tagamine on tehniliselt keerulisem, sest prognoosimine on võimalik ainult longituuduuringu alusel. Eksami prognoosiv väärtus selgub õpilaste eksamijärgset käekäiku kirjeldavate andmete kontekstis. Ka prognoosiva eesmärgi lisamine tasemehindamisele ei ole – vähemalt õpilase perspektiivist – piisav, kuna sama läbiviimiseks kuluva ressursiga on ikka veel võimalik saavutada rohkem eesmärke.

14. 2.3.1. Mida? Tahame – lisaks tasemele ja prognoosile – teada saada, miks õpilased vigu teevad ja miks õigesti (!) vastavad 2.3.2. Miks? Saame teada, millisel viisil oleks edaspidi võimalik efektiivsemalt õpetada – see on kujundava hindamise variant, mille korral kasutataks ühe grupi õpilaste uuringu andmeid teise grupi õpilaste õppimise soodustamiseks.

15. 2.3.3. Kuidas? Selleks on vaja hindamisalast kirjaoskust, mille tase mujal maailmas on suhteliselt tagasihoidlik: “Kaasaja õpetajate teadmised hariduslikust hindamisest mahuksid vabalt lasteaialapse pooltühja piimapakki.” (Popham, 2006) * Keskseks probleemiks on valiidsuse saavutamine, sest eksamiküsimused peavad olema õpetuslikult tundlikud. Uuritavate konstruktide määratlemine on sel juhul teoreetiliselt väga keerukas.

16. Kõigepealt peaks valiidsuse tagamiseks näitama: 1. Testid/ küsimused kirjeldab neid konstrukte, mida soovisime kirjeldada 2. Eksamitulemuste abil saab modifitseerida õpetamise meetodeid 3. Modifitseeritud õpetamise meetodid on efektiivsemad kui senikasutatud. Kuid veelgi keerulisem on avastada, milliseid konstrukte peaks üldse uurima ja kuidas uurimistulemusi täpselt õpetamismeetoditega siduda.

17. Näiteks “lihtsad” arvuoperatsioonide teadmised/ oskused polegi nii lihtsad. Luria neuropsühholoogiline uuring sisaldas rea teste, mille abil saab eristada põhjusi, miks vead tekivad. Kõrvalepõikena – Luria testide puhul pole eriti huvitav, kui inimene midagi ei tee, huvitav on kui teeb aga vigadega; vigade iseloom on oluliselt informatiivsem kui mittesooritamine.

18. Aritmeetiliste funktsioonide häirete leidmiseks: 1. Kirjuta palun numbrid, mis ma ütlen: 7-9-3 ... 3-5-7 Hindamiskriteeriumid: * õigete vastuste arv ... ja mis veel? * vastamise latentsiaeg, kas liiga aeglane (>2s) või liiga kiire (<1s koos vigade tegemisega) * järjekorra vead * kirjutatakse rohkem numbreid kui öeldi * kirjutatakse sõnade, mitte numbritega * mikro- ja makrograafia

19. 2. Kirjuta palun Rooma numbritega ... ... neli ja kuus ... üheksa ja üksteist Hindamiskriteeriumid: * õigete vastuste arv * + samad, mis eelmised * eraldi välja tuua VI asemel IV ja XI  IX 3. Nüüd kirjuta palun tavaliste numbritega ... 17 ja 71 ... 69 ja 96 Hindamiskriteeriumid: * nagu eelnevad

20. 4. Kirjuta palun numbrid, mis ma ütlen ... ... 27-34-158-396-9845 Lisaks eelnevatele kriteeriumidele näiteks 27207; 158100508 5. Loe palun kaardile kirjutatud numbrid ... 7-9-3 ... 3-5-7 ... IV-VI ... IX-XI 6. ... 17-71 ... 69-96 7. seekord on numbrid kirjutatud ülevalt alla: 1 3 1 5 9 0 8 6 2 3

21. 8. Ütle palun, milline number on suurem ... 17 või 68 ... 56 või 23 ... 189 või 201 9.- 16. Erinevad arvuoperatsioonid ... 3 * 3 ... 5 * 4 ...7 * 8 ... 3 + 4 ... 6 + 7 ... 8 – 3 ... 6 – 4 ... ülalt alla kirjutatud numbrite liitmine, tehetes puuduvate arvude või matemaatiliste sümbolite leidmine jne. Ilmuvad nt perseveratsioonid, õhku kirjutamine jne. 17.-18. Arvuta peast, palju on 100-7 ja tulemusest omakorda -7 jne. ... 100-13-13-...

22. Teisiti organiseerides küsimusi, miks aritmeetilistes operatsioonides vead tekivad, saame küsida, millises kognitiivses protsessis vead tekivad: * Taju * Mälu * Tähelepanu * Mõtlemine * Planeerimine * Emotsioonid * Motivatsioon * Varasemad teadmised Iga protsessi juures erinevad vigade põhjused ja samuti erinevad rehabilitatsiooni/ õpetamise meetodid, mis toetavad probleemist vabanemist.

23. Lõpetuseks ... Milline eksamitegemise põhjus valida? Vastus 1: Ükski pakututest – formaalne, taseme hindamine, prognoosimine, kujundav hindamine – pole iseenesest halb. Hinnata võiks eksami läbiviimiseks vajaliku ressursi olemasolu, kulukust, tulemuste kasutatavust, ja otsustada toetudes neile hinnangutele.

24. Ressursi olemasolu: * Tavalisel kooliõpetajal on (peaaegu) piisavad teadmised formaalseks ja taseme testimiseks. Prognoosiva ja eriti kujundava hindamise heal tasemel läbiviimiseks on Eestis parimal (!) juhul paar-kolm eksperti. Neil ei pruugi olla aega, motivatsiooni vms. Kulukus: * Kas on aega ja raha keerukamate eesmärkide saavutamiseks vajalike tegevuste läbiviimiseks? Halvasti-odavalt teha võib kokkuvõttes olla kallim või õpilastele kahjulikum.

25. Tulemuste kasutatavus: * Pole kasu prognoosimisest, kui õpilased seda ei kasuta; pole kasu kujundavast hindamisest, kui see on tegelikult ainult näiliselt “kujundav” (nt ei seostu põhjendatult õpetamismeetoditega) või reaalselt keegi uusi meetodeid kasutama ei hakkaks. Vastus 2: Loomulikult kujundav hindamine! Sest ... ... nii saab ka teised eesmärgid täidetud

26. ... õpilaste aega kasutatakse maksimaalselt efektiivselt ... õpetajad arenevad koostöös kujundava hindamise teoreetikutega—vaja on vaid see koostöö tellida/ korraldada; vajadusel (s.t. kindlasti!) osaliselt teistest riikidest sisse osta. ... leitakse paremaid õpetamise meetodeid ja seega toetatakse paremini õpilaste õpipotentsiaali realiseerumist ... või vähemalt on niimoodi ilus vastata ... kuid ärge “reisige Abilene” (The Abilene Paradox, Jerry Harvey)

27. Tänan!