Dr Maria Krystyna Szmigel Anna Rappe

1. Edukacyjna wartość dodana, czyli jak wykorzystać wyniki egzaminówzewnętrznych, do oceny efektywności nauczania Dr Maria Krystyna Szmigel Anna Rappe

2. Wprowadzenie Wykorzystanie nowego wskaźnika jakości nauczania do oceny efektywności nauczania • województw, • powiatów, • gmin, • gimnazjów w rejonie nadzoru.

3. EWD, czyli odrobina historii • Od 2002 r. system egzaminów zewnętrznych dostarcza obiektywnych danych o osiągnięciach uczniów • Rok 2005 umożliwił „scalenie” dwóch wyników dla ucznia kończącego gimnazjum • Wyniku sprawdzianu w 2002 r. oraz wyniku egzaminu gimnazjalnego w 2005 r. • Pierwsze próby liczenia EWD na przykładzie powiatu oświęcimskiego (prace dr M.K. Szmigel i A. Rappe)

4. Prace nad EWD obecnie • W ramach PO KAPITAŁ LUDZKI, Priorytet III, Działanie 3.2 Rozwój systemu egzaminów zewnętrznych trwają Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej (EWD) • Projekt obejmuje lata 2007-2013 • Kierownikiem projektu jest dr R. Dolata • Pośród członków zespołu jest trzech pracowników OKE w Krakowie

5. Informacje o EWD • Kalkulator EWD (2005, 2006, 2007, 2008)www.ewd.edu.pl • Warsztaty EWD dla konsultantów, metodyków, dyrektorów (2007 i 2008) • Tematyka EWD na konferencjach PTDE od 2005 r. • Szereg publikacji w biuletynach i wydaniach książkowych CKE • Tematyka obecna na spotkaniach z dyrektorami • Dostępne informacje na stronie www.oke.krakow.pl • Wyniki EWD szkół (OKE w Krakowie) - system OBIEG

6. www.ewd.edu.pl

7. Edukacyjna wartość dodana jako jedna z miar jakości nauczania Poziom końcowy wiedzy Szkoła Zasoby na wejściu Jakość nauczania Edukacyjna wartość dodana jest przyrostem wiedzy uczniów w wyniku danego procesu edukacyjnego

8. Główne cele wprowadzania EWD • Zmniejszenie roli surowych wyników egzaminów jako jedynej miary jakości nauczania. • Diagnozowanie jakości nauczania celem nieustannej pracy nad poprawą efektywności nauczania. • Zachęcanie szkół do konkurencji jakością nauczania. • Docenienie pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno-ekonomicznych.

9. Jak liczona jest EWD w polskim modelu? • Na podstawie wyniku ucznia na sprawdzianie szacujemy za pomocą metody regresji wynik przewidywany na egzaminie gimnazjalnym. • Obliczamy różnicę punktów – tzw. resztę – między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. • Obliczamy średnią reszt, czyli EWD dla szkoły (gminy, powiatu, województwa). • Szacujemy przedział ufności dla EWD.

10. Część humanistyczna Wynik egzaminu Wartość EWD Dwie miary jakości kształcenia Część matematyczno-przyrodnicza Wynik egzaminu Wartość EWD

11. Krzywa regresji(linia przewidywanego wyniku) Linia regresji (przewidywanego wyniku)

15. Wykorzystanie danych na temat wyników egzaminów: nauka w służbie sztuki?

16. Wynik dla szkoły Wyniki według klas

17. Pojęcia, które należy znać, aby odczytać komunikat o EWD • Edukacyjna wartość dodana • „Wyniki surowe” (w punktach, procentach) • Skala standardowej dziewiątki i jej stopnie – staniny • Skala centylowa i jej stopnie– centyle • Wynik „na wejściu” i „wyjściu” • Wynik szkoły na wejściu odpowiada 5 staninowi, czyli wynosi …. • Wynik szkoły po egzaminie gimnazjalnym to 7 i 8 stanin, czyli …. • Centyl 56 oznacza, że …… • Procent połączonych (scalonych) wyników to (jakich?) • Przedział ufności (dlaczego wyniki podawane są wraz z tą informacją?) • Wynik 3-letniego EWD w części humanistycznej równe 1,37 oznacza ... • Wynik 3-letniego EWD dla części matematyczno-przyrodniczej 2,56 oznacza, że …

18. Kalkulator Edukacyjnej Wartości Dodanej Dane potrzebne do wprowadzenia: • wynik na sprawdzianie(jeżeli korzystał z dostosowań warunków lub kryteriów oceniania) • płeć • dysleksja na sprawdzianie • wynik na egzaminie gimnazjalnym – GHU, GMP • dysleksja w gimnazjum(jeżeli korzystał z dostosowań warunków lub kryteriów oceniania)

20. Gimnazjum

21. Gimnazjum

22. Duże zróżnicowanie wyników na wejściu w szkole Problem: różna efektywność pracy z uczniami o różnym potencjale

23. Gimnazjum

24. Gimnazjum

25. Gimnazjum

26. Klasa A

27. Klasa A – HUM - 2008

28. Klasa A – GMP - 2008

29. Klasa A 2008

30. Klasa A

31. Klasa A

32. Klasa B

33. Klasa B

34. Klasa B

35. Klasa B

36. Klasa B

37. Klasa B

38. Klasa C

39. Klasa C

40. Klasa C

41. Klasa C

42. Klasa C

43. Klasa C

44. Klasa A Gimnazjum Nr 2 w Skawie Klasa B Klasa C Przedziały ufności dla wyników EWD w gimnazjum i dla 3 klas

45. Tabela zależności dla szkół wyników średnich egzaminu i wskaźników EWD Gimnazja A, B, C, D, E, F, G, H, I

46. Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD? „Dobra efektywność” mimo niskiej pozycji w rankingach „Wysoce efektywne” szkoły potwierdzone dwoma miarami D B Szkoły „nieefektywne” A Szkoły, które „spoczęły na laurach” C

47. Z badań międzynarodowych wynika, że... Szkoły mają słabą motywację do wykorzystania wskaźników EWD. Szczególnie zaangażowany dyrektor będzie starał się o podtrzymanie świadczonych usług; wsparcie nadzoru Szkoły mają pilne powody do wykorzystania wskaźników EWD. Nauczyciele mogą wykazać, że osiągają dobre wyniki kształcenia. Najmocniejsze bodźce!!! Tylko zewnętrzny czynnik (...) lub nowo powołany dyrektor byłby wystarczająco otwarty na dane, aby zrobić z nich aktywny użytek! Trudno przekonać nauczycieli. Najsłabsza motywacja. Tylko świadomy dyrektor wykorzysta tę informację jako dźwignię zmian!

48. „Dobra efektywność” mimo niskiej pozycji w rankingach „Wysoce efektywne” szkoły potwierdzone dwoma miarami Województwo małopolskie Szkoły „nieefektywne” Szkoły, które „spoczęły na laurach” Wynik części humanistycznej EWD części humanistycznej

49. „Dobra efektywność” mimo niskiej pozycji w rankingach Województwo małopolskie „Wysoce efektywne” szkoły potwierdzone dwoma miarami Szkoły „nieefektywne” Szkoły, które „spoczęły na laurach” Wynik części matematyczno-przyrodniczej EWD części matematyczno-przyrodniczej

50. Przykładowe zestawienie wyników EWD dla gimnazjów w gminie