1 / 63

OCENJEVANJE ZANESLJIVOSTI TESTA

OCENJEVANJE ZANESLJIVOSTI TESTA. “V kolikšni meri na testne dosežke vplivajo slučajne napake?”. Zanesljivost K aj je zanesljivost (2 (+1) koncept zanesljivosti). Klasična testna teorija (teorija pravega dosežka):. X = T + E T = E(X) r TE = 0. Koeficient zanesljivosti.

crwys
Télécharger la présentation

OCENJEVANJE ZANESLJIVOSTI TESTA

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. OCENJEVANJE ZANESLJIVOSTI TESTA “V kolikšni meri na testne dosežke vplivajo slučajne napake?” Zanesljivost Kaj je zanesljivost (2 (+1) koncept zanesljivosti)

  2. Klasična testna teorija (teorija pravega dosežka): X = T + E T = E(X) rTE = 0

  3. Koeficient zanesljivosti

  4. Klasična testna teorija vs. teorija posplošljivosti Kadar hočemo meriti neko spremenljivko (vedenje), imamo po tej teoriji vedno opraviti s celotnim področjem ali univerzumom vedenj. Ker se univerzum vedno nanaša na zelo veliko število obnašanj v neki dejavnosti, se moramo iz čisto praktičnih razlogov odločiti za končni vzorec obnašanj. Končni vzorec vedenj je isto kot izmerjeni dosežek v klasični testni teoriji, tako kot je univerzalni dosežek isto kot pravi dosežek v klasični psihometrični teoriji. Razlika je v tem, da teorija posplošljivosti dopušča možnost različnih alternativnih možnih univerzumov generalizacije, pri katerih vsak vsebuje drugačne vire napake merjenja. Varianca napake je vse, kar sestavlja končni, dobljeni dosežek in ni pravi dosežek.

  5. Varianca napake načeloma lahko “pride od koderkoli”, vendar: (i) Sestavljanje testa(npr. posledica t.i. vzorčenja nalog ali vzorčenja vsebine). (ii) Administriranje testa(vpliv testatorja ali medsebojnega vplivanja med testatorjem in testirancem ter testirančeva pozornost, pazljivost, natančnost, motivacija, fizično in psihično splošno počutje, prespanost, nivo testne anksioznosti, obremenjenost s čustvenimi problemi, trenutna podvrženost vplivu raznih poživljajočih ali pomirjajočih substanc ...; faktorji okolja (sobna temperatura, stopnja osvetlitve, prezračenost, hrup, prostornost in udobnost mesta testiranja za posameznika ...). (iii) Vrednotenje rezultatov ter interpretacija. Bolj ko je test objektiviziran pri postopkih vrednotenja in razlaganja izsledkov, manjša bo napaka merjenja, ki od tod izvira. Napako, ki od tod izvira, je zelo težko kontrolirati.

  6. Kritika KTT in koeficientov, ki izvirajo iz nje (npr.α) Največ očitkov predpostavki, da gre pri merjenju le za slučajne napake, ki med seboj ne korelirajo in tudi ne korelirajo s pravim dosežkom. Alwin (1989) - komponente, ki vplivajo na varianco izmerjenega dosežka: -       dejanska vrednost, -       lastnosti merskih postopkov, -       napake pri konceptualizaciji in operacionalizaciji, -       slučajne napake in -      napake, ki so sicer slučajne glede na dejanske vrednosti, a korelirajo med seboj pri ponovljenih meritvah. Ocena vseh komponent je praktično nemogoča, vendar lahko ocenimo vsaj nekatere od njih. KTT upošteva le (i) in (iv). • Težava KTT – temelji na treh predpostavkah: • o kongeneričnosti, • o -enakovrednosti, • o vzporednosti meritev.

  7. X = T + E

  8. Termini • xi…neodvisne merske spremenljivke • yi… odvisne merske spremenljivke • ξ (Ksi)..eksogeni latentni konstruki • η (eta)…endogeni latentni konstrukti • γ (gama)…zveze med latentnimi konstrukti • Λ (lambda)…zveze med merskimi spremenljivkami in latentnimi konstrukti • Φ (fi)…korelacije med eksogenimi latentnimi konstrukti • β (beta)…korelacije med endogenimi latentnimi konstrukti • δ (delta)…napake merjenja pri odvisnih spremenljivkah • ε (epsilon)…napake merjenja pri neodvisnih spremenljivkah • ζ (zeta)…rezidualna varianca v strukturi • Ψ (psi)…korelacija med rezidualnimi variancami v strukturi • G … m x nmatrika koeficientov eksogenih spr. x v strukturnem od. • B … m x mmatika koeficientov endogenih spr. h v strukturnem odnosu (Bima 0 v diagonali)

  9. Merski modeli: odnos med pravimi dosežki na različnih meritvah (postavkah, testih) izbira & interpretacija postopka ocenjevanja zanesljivosti • Naslednja težava KTT: temelji na treh predpostavkah: • o kongeneričnosti, • o -enakovrednosti, • o vzporednosti meritev.

  10. 1. Kongenerični model: Pravi dosežki pri različnih meritvah so popolnoma korelirani (= testi / postavke merijo isto lastnost), T in X imajo lahko različne M in SD.

  11. Predpostavka o kongeneričnosti

  12. 2a. V bistvu (esencialno) t - enakovredni model: • Kongenerični model + • meritve imajo enake prave variance, • meritve imajo lahko različne dejanske M in SD.

  13. 2b. t - enakovredni model: • Kongenerični model + • pravi dosežki (in s tem prave variance) na različnih meritvah so enaki; • meritve imajo lahko različne dejanske SD, vendar enake M.

  14. Predpostavka o -enakovrednosti αtudi počiva na teh predpostavkah; zakaj KTT vseeno še v uporabi?

  15. Predpostavka o vzporednosti meritev: KTT računa na popolno koreliranost dejanskih spremenljivk pri prvem in ponovljenem merjenju (predpostavlja, da vsi merski postopki merijo natanko eno in isto inda se dejanske vrednosti dosežka ne spreminjajo v času). rxx' = korelaciji med testom in retestom, pri čemer kovarianca med vzporednima meritvama daje oceno variance dejanske vrednosti odgovora. Vemo pa, da pri merjenju v več t točkah na r med izmerjenimi dosežki vpliva: -         (ne)stabilnost dejanskega dosežka v času, -         specifičnost metode -         mnogi drugi sistematični dejavniki. Zato nižjir med merami ne pomeni nujno tudi majhne zanesljivosti merjenja.

  16. 3. Vzporedni model: • t - enakovredni model + • meritve imajo enake variance napak in zato enake dejanske aritmetične sredine in variance.

  17. Preverjanje predpostavk merskih modelov: • pregled aritmetičnih sredin, varianc, kovarianc in korelacij, Predvsem pa: • konfirmatorna faktorska analiza.

  18. NAČINI OCENJEVANJA ZANESLJIVOSTI 1. ponovno testiranje, 2. enakovredne oblike, 3. notranja skladnost.

  19. 1. PONOVNA MERITEV (RETEST) • Test po določenem času ponovno apliciramo. • Zanesljivost = korelacija med dosežki na obeh testiranjih. • Meritvi morata biti vzporedni (ni vpliva učenja, lastnost se ni spremenila).

  20. 2. ENAKOVREDNI OBLIKI • Imamo vsaj dve inačici testa. • Meritvi morata biti vzporedni (ni sistematičnega vpliva vzorčenja nalog ter vaje oz. učenja). • Zanesljivost = korelacija med dosežki na obeh testiranjih.

  21. 3. NOTRANJA SKLADNOST (INTERNA KONSISTENTNOST) • Test razdelimo na več (od 2 do n) eksperimentalno neodvisnih delov. • Če ti deli merijo isto lastnost, so nepopolne korelacije posledica napake merjenja. • Zadostuje eno testiranje (dele testa obravnavamo kot ločene meritve).

  22. Cronbachov a koeficient: “Kovariance med postavkami so odraz prave variance postavk.”

  23. Prednosti koeficienta a: • enostavno izračunljiv in razumljiv, • vzorčni a je nepristranska ocena populacijskega a, • znana vzorčna porazdelitev.

  24. Pomanjkljivost koeficienta a: a je enak zanesljivosti le, če so postavke vsaj v bistvu t-enakovredne; sicer je ocena spodnje meje zanesljivosti.Vendar: a je razmeroma dobra ocena zanesljivosti, če test ni izrazito multidimenzionalen.

  25. Poseben primer a za dihotomno točkovane postavke je Kuder-Richardsonov obrazec št. 20

  26. Dihotomne postavke z enakimi težavnostmi: Kuder-Richardsonov obrazec št. 21 Če so M oz. SD postavk različne, je KR21 nižji od KR20.

  27. Zanesljivost časovno omejenih testov: 1. merjenje odgovornih časov ali 2. test razdelimo na več delov in jih ločeno apliciramo.

  28. Spearman-Brownov obrazec: odnos med zanesljivostjo in dolžino testa. • Ocena zanesljivosti, če: • združimo n vzporednih postavk, • test podaljšamo s homogenimi postavkami, • iz testa izločimo naključno izbrane postavke.

  29. Spearman-Brownov obrazec = a za standardizirane oz. vzporedne postavke

  30. Razpolovitveni koeficient zanesljivosti: 1. test razdelimo na dva enaka dela (npr. parne in neparne postavke); 2. izračunamo skupni dosežek za vsak del posebej;

  31. 3a. Varianci obeh delov približno enaki: Spearman-Brownov obrazec. 3b. Varianci obeh delov različni: Guttmanov razpolovitveni koeficient.

  32. SB obrazec k = koeficient zanesljivosti testa z dolžino k, k’= test z drugačno dolžino (k’); n= ulomek k’/k oziroma dodano (odvzeto) število nalog

  33. Hoytov postopek dvosmerna analiza variance: 1. faktor - osebe, 2. faktor - postavke. Notacija: N = št.subjektov n = št.postavk / ocenjevalcev Xs. = povprečni odgovor osebe s X.o = povprečni odgovor na postavki o / povprečna ocena ocenjevalca o, X.. = povprečje vseh odgovorov, Ts., T.o = skupni dosežek, vsota po postavki T.. = skupna vsota

  34. Viri variance: 1. med subjekti: 2. med postavkami / ocenjevalci:

  35. 3. interakcija - rezidual: 4. skupna varianca:

  36. Postopek je uporaben tudi pri dihotomnih postavkah, vendar lahko F - test izvedemo le, če so postavke na intervalni lestvici.

  37. Spodnja meja intervala zaupanja za populacijski a: Fa = vrednost F porazdelitve pri N-1 in (N-1)(n-1) stopnjah svobode pri želenem p.

  38. Tabela 6.1: Podatki za primer analize zanesljivosti (angl. reliability analysis)

  39. (A) Koeficient alfa: (B) Kuder-Richardsonova formula KR20- zgolj varianta formule (A) (C) “Split-half” koeficient zanesljivosti:

  40. -         kako zanesljivi so različni testi

  41. Interpretacija koeficienta zanesljivosti • (VIRI VARIABILNOSTI različni za različne rxx'): • rxx' = 0,82 (???) • kaj merimo (inteligentnost, znanje, specifične sposobnosti, veščine, osebnostne lastnosti, temperament, stališča, vrednote ...) • kakšen koeficient smo računali

  42. Od kod pride napaka merjenja? Pozor: irelevantni konstantni dejavniki niso napaka merjenja (npr. testna anksioznost)!

  43. Tabela 6.2: Kaj pomeni “napaka” glede na različne postopke preverjanja zanesljivosti

  44. -         vpliv omejenosti obsega na zanesljivost r = .90 Restr. r = .30 Test B Restr. Test A

  45. Vpliv napake merjenja na korelacijo med t. rezultatom in kriterijem

  46. Kako izboljšamo zanesljivost testa? • povečati objektivnost testa • izločiti najtežje in prelahke naloge in jih nadomestiti s srednje težkimi • popraviti testni rezultat za stopnjo možnosti ugibanja (pri nalogah izbirnega tipa) • podaljšati test • uporabiti sestavljen niz testov

More Related