1 / 112

Ocenianie szkolne Teoria budowy testów osiągnięć szkolnych

Ocenianie szkolne Teoria budowy testów osiągnięć szkolnych. Roman Dolata Wydział Pedagogiczny UW rdolata@uw.edu.pl. Kontakt. Roman Dolata Dyżury Piątki od 16 do 17, s. 314 Poczta rdolata@uw.edu.pl. Cele kursu. Opanowanie umiejętności:

gad
Télécharger la présentation

Ocenianie szkolne Teoria budowy testów osiągnięć szkolnych

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Ocenianie szkolneTeoria budowy testów osiągnięć szkolnych Roman Dolata Wydział Pedagogiczny UW rdolata@uw.edu.pl

  2. Kontakt Roman Dolata • Dyżury Piątki od 16 do 17, s. 314 • Poczta rdolata@uw.edu.pl

  3. Cele kursu • Opanowanie umiejętności: • tworzenia nauczycielskich testów osiągnięć szkolnych • oceny jakości i interpretacji wyników standaryzowanych testów osiągnięć szkolnych • wykorzystania wyników egzaminacyjnych do ewaluacji wewnątrzszkolnej (metoda EWD)

  4. Literatura, zaliczenie • Literatura: M. Jakubowski, A. Pokropek (2009) Badając egzaminy. Podejście ilościowe w badaniach edukacyjnych. Centralna Komisja Egzaminacyjna. Str. 8-72. (do pobrania ze strony www.ewd.edu.pl) Strona www.ewd.edu.pl • Zaliczenie Opracowanie, przeprowadzenie i przeanalizowanie wyników testu osiągnięć edukacyjnych lub Analiza efektywności nauczania w wybranym gimnazjum, LO lub technikum

  5. Czym jest ocenianie szkolne?

  6. Czym jest test osiągnięć szkolnych? • Mała próbka zadań, której używamy do oszacowania opanowania przez uczniów szerokiego wachlarza wiadomości i umiejętności (Daniel Koretz) Cechy formalne testu: - obiektywność • standaryzacja • liczbowa postać wyniku

  7. Podstawowe pojęcia statystyczne przydatne przy konstrukcji testów i analizie ich wyników

  8. Rozkład liczebnościWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

  9. Rozkład procentowyWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

  10. Rozkład skumulowany, procentowyWyniki sprawdzianu 2009, rozkład dla kraju, n=400887

  11. Podstawowe parametry rozkładu1. Miary tendencji centralnej i inne miary pozycji Wyniki sprawdzianu 2009, rozkład dla kraju, n=400887 • Średnia arytmetyczna x: 22,6 • Mediana Me: 23 • Pierwszy kwartyl (25 percentyl): 17 • Drugi kwartyl (mediana, 50 percentyl): 23 • Trzeci kwartyl (75 percentyl): 28

  12. Podstawowe parametry rozkładu2. Miary zmienności wynikówWyniki sprawdzianu 2009, rozkład dla kraju, n=400887 średnia 3. kwartyl 1. kwartyl • Wariancja: 58,2 • Odchylenie standardowe: 7,6 • Odchylenie kwartylowe (ćwiartkowe): 11

  13. Porównanie dwóch rozkładówSprawdzian 2009, dwie szkoły

  14. Badanie współzmienności wyników dwóch testów • Czy zmianom jednej zmiennej towarzyszą zmiany drugiej zmiennej? • Analiza graficzna: wykresy rozrzutu • Możliwe do zastosowania statystyki: - współczynnik korelacji r Pearsona - współczyniki regresji

  15. Korelacja dodatnia (pozytywna)współczynnik korelacji wyższy od zera

  16. Korelacja ujemna (negatywna) współczynnik korelacji niższy od zera

  17. Brak korelacji (zerowa)współczynnik korelacji bliski zeru

  18. Korelacja nieliniowa

  19. Konstruowanie testów osiągnięć szkolnych

  20. Testy osiągnięć a testy zdolności

  21. Typy testów osiągnięć szkolnych • Przesiewowe (minimum kompetencji), szerokiego stosowania, selekcyjne • Testy różnicujące i testy kryterialne • Testy mocy i testy szybkości

  22. Schemat konstrukcyjny testów osiągnięć szkolnych Cele kształcenia Zadania testowe Badania pilotażowe – wybór zadań, określenie rzetelności testu Ostateczna postać testu Wynik surowy Skalowanie Wynik testu Normy wykonania

  23. Elementy składowe testu 1. Lista celów edukacyjnych 2. Plan testu 3. Zadania testowe 4. Schematy punktacji 5. Kwestionariusz testu i instrukcja testowania 6. Normy wykonania testu: ilościowe i treściowe

  24. Lista celów edukacyjnych • Fundament budowy testu • Cele dotyczą wiadomości i umiejętności, które mają opanowywać uczniowie, a nie czynności nauczyciela • Cele muszą być sformułowane w sposób jasny i jednoznaczny • Lista celów nie powinna być zbyt długa; gdy zbyt długa: • łączenie celów w ogólniejsze • wyznaczenie priorytetów

  25. Plan testu • W najprostszej postaci tabela o postaci:

  26. Plan testu taksonomia ABC na podstawie B. Blooma

  27. Plan testu: przykład kursu statystyki

  28. Zadania testowe • Zadanie testowe to wskaźnik opanowania celu edukacyjnego • By rzetelnie wypowiadać się o opanowaniu celu potrzebujemy wielu wskaźników • W wypadku szczegółowego celu wystarczy kilka zadań testowych • W wypadku ogólnych celów potrzeba znacznie więcej zadań testowych

  29. Zadania testowe: klasyfikacja

  30. Schemat punktacji • Schematy punktacji do zadań zamkniętych • Problem tzw. punktów ujemnych • Schematy punktacji do zadań otwartych • Problem rzetelności oceny wykonania zadań otwartych

  31. Kwestionariusz testu i instrukcja przeprowadzenia testowania • Szata graficzna testu • Problem praw autorskich • Kolejność zadań • Od najłatwiejszych do najtrudniejszych • Instrukcja przeprowadzenia testu • Standaryzacja sytuacji testowej • Limit czasu: testy mocy vs testy szybkości

  32. Norma ilościowa wykonania testu • Interpretacja ilościowa wyniku testu: wynik testu na tle rozkładu wyników w grupie odniesienia • Najprostsza norma: odniesienie wyniku do średniej w grupie odniesienia • Standaryzacja wyniku: • skala staninowa • skale o zadanej średniej i odchyleniu standardowym • skale pozycyjne: centyle

  33. Norma treściowa • Wynik testu jako miara opanowania celów edukacyjnych • Najprostsza norma treściowa: wskazanie od jakiego wyniku można uznać, że cel został opanowany w stopniu pozwalającym na dalsze uczenie się • Złożone normy treściowe: zdefiniowanie kilku poziomów opanowania celu • Problem kumulatywności testu

  34. Trafność testu

  35. Trafność w testach osiągnięć • Test jest trafny, gdy: • uczniowie wykonują, te operacje umysłowe, na których nam zależy • możemy dostać na to dowód

  36. Trafność zadania testowego

  37. Trafność zadania - problemy Przykład: • Badana umiejętność: zasób słownikowy dziecka

  38. Trafność zadania - problemy Przykład: • Badana umiejętność: zasób słownikowy dziecka, rozpoznawanie błędnego użycia słowa.

  39. Trafność zadania zamkniętego - problemy • Czy prawidłowa odpowiedź jest na pewno poprawna, a dystraktory błędne? • Jakość dystraktorów: • Czy są prawdopodobne? • Czy zawierają typowe błędne przekonania uczniów? • Czy wykorzystują prawdziwe stwierdzenia, które nie są poprawną odpowiedzią?

  40. Trafność zadania - problemy • Czy treść zadania (polecenie, pytanie, możliwe odpowiedzi, rysunki i schematy) jest jednoznaczna, jasna i zrozumiała? • Język odpowiedni do wieku ucznia. • Główna myśl w pytaniu, nie w odpowiedziach. • Czy w zadaniu nie ma nadmiaru słów? • Czy w pytaniu i możliwych odpowiedziach nie ma negacji? Jeśli musi być, czy jest wyróżniona? • Czy poprawna odpowiedź jest dłuższa od dystraktorów? • Czy występują duże kwantyfikatory: zawsze, nigdy, całkowicie, absolutnie.

  41. Metody analizy trafności • Analiza treściowa zadań - jw • Analiza jakościowa rozwiązywania zadań przez uczniów (Jak rozwiązywałeś ten test? – technika głośnego myślenia) • Analiza statystyczna: związek z innymi miarami odniesienia

  42. Rzetelność testu

  43. Rzetelność testu • Każdy pomiar obarczony jest niepewnością pomiarową • Klasyczne ujęcie niepewności pomiarowej wynik empiryczny = wynik prawdziwy + błąd pomiaru Wynik prawdziwy: średni wynik z nieskończonej liczby powtórzeń testu

  44. Błąd pomiaru Wynik ucznia w teście Uczeń Wysokie Niskie Wyniki

  45. Błąd pomiaru Wynik ucznia w teście Wynik prawdziwy Uczeń Błąd pomiaru Wysokie Niskie Wyniki

  46. Główne źródła błędu pomiaru w testach osiągnięć szkolnych • Arbitralność doboru zadań testowych • Niedostatki standaryzacji procedury testowej • Zgadywanie w zadaniach zamkniętych • Ocenianie zadań otwartych • Ściąganie • Losowe wahania dyspozycji intelektualnych ucznia • Błędy systematyczne: stronniczość testu

  47. Rzetelność punktacji – opis eksperymentuNa podstawie: R. Dolata, E. Putkiewicz, A. Wiłkomirska Reforma egzaminu maturalnego: oceny i rekomendacjeInstytut Spraw Publicznych, badanie sfinansowane przez MENiS

  48. Analiza rzetelności systemów punktacji • Przedmiotem analiz były systemy punktacji przygotowane na maturę 2002: • Język polski - wypracowania (arkusz I i III), rozumienie czytanego tekstu (arkusz II). • Historia – test i interpretacja źródeł (arkusz I i II). • Matematyka – poziom podstawowy i rozszerzony (arkusz I i II).

  49. Procedura badania rzetelności • Dobór prac. • Przygotowanie prac do ponownego sprawdzania. • Dobór egzaminatorów.

  50. Problem trafności ekologicznej eksperymentu • Czynniki mogące zawyżać oszacowanie rzetelności: - dobór egzaminatorów (posługiwanie się dobrze znanym schematem punktacji), - pominięcie opcji (polski, historia). • Czynniki mogące zaniżać oszacowanie rzetelności: - upływ czasu, - brak procedur oceniania grupowego

More Related