Wykorzystanie wyników egzaminów zewnętrznych do doskonalenia jakości nauczania

1. Wykorzystanie wyników egzaminów zewnętrznych do doskonalenia jakości nauczania

2. Zagadnienia • Źródła informacji o egzaminach i wynikach egzaminów • Przykłady badań nad egzaminami • Edukacyjna wartość dodana i jej wykorzystanie dla doskonalenia jakości nauczania w szkołach gimnazjalnych • Zaproszenie do obserwacji egzaminów w gimnazjach

3. Zasięg terytorialny komisji egzaminacyjnych Ministerstwo Edukacji Narodowej • Okręgowa Komisja Egzaminacyjna: • w Gdańsku • w Jaworznie • w Krakowie • w Łodzi • w Łomży • w Poznaniu • w Warszawie • we Wrocławiu • Centralna Komisja Egzaminacyjna w Warszawie

4. Zadania okręgowych komisji egzaminacyjnych • Tworzenie arkuszy egzaminacyjnych • Przeprowadzenie sprawdzianu i egzaminów • Szkolenia egzaminatorów • Ocenianie prac egzaminacyjnych • Przekazywanie wyników egzaminów zdającym, dyrektorom szkół, organom nadzorującym i prowadzącym szkoły • Przekazywanie sprawozdań z przeprowadzonych sprawdzianów i egzaminów dyrektorom szkół, organom prowadzącym szkoły, kuratorom oświaty i CKE

5. szkół, w których • przeprowadzane są • egzaminy zewnętrzne • - prawie 47 000 uczniów przystępujących co roku do egzaminów (1, 2-3 lub 5)

6. Jak wykorzystać wynik egzaminu gimnazjalnego?

7. Koncepcja egzaminu gimnazjalnego 2008 zapisana w planie testu 7

8. Podstawowe miary statystyczne egzaminu gimnazjalnego 2008 9

9. Część humanistyczna Część matematyczno-przyrodnicza Osiągnięcia uczniów klas III gimnazjalnych według sprawdzanych umiejętnościw roku 2008 w % uzyskanych punktów Część humanistyczna

10. Centralnie wydawane i przekazywane do każdej szkoły są wydawnictwa książkowe Zapraszamy do lektury Okręgowa Komisja Egzaminacyjna w Krakowie Opracowanie: dr Maria Krystyna Szmigel

11. Normalizacja wyników w skali standardowej dziewiątki

12. Tabela 15. Łatwość sprawdzanych umiejętności a wynik ucznia w skali standardowej dziewiątki Niski potencjał Średni potencjał Wysoki potencjał 13

15. Wyniki wszystkich szkół podstawowych i gimnazjalnych 16

16. 17

17. 18

18. Część humanistyczna Część matematyczno-przyrodnicza 19

19. Sprawozdania i raportyna stronie internetowej OKE w Kakowie

20. Gimnazjum 2008 www.oke.krakow.pl

21. Edukacyjna wartość dodana, czyli jak wykorzystać wyniki egzaminówzewnętrznych, do oceny efektywności nauczania

22. Odrobina historii • Od 2002 r. system egzaminów zewnętrznych dostarcza obiektywnych danych o osiągnięciach uczniów • Rok 2005 umożliwił „scalenie” dwóch wyników dla ucznia kończącego gimnazjum • Wyniku sprawdzianu w 2002 r. oraz wyniku egzaminu gimnazjalnego w 2005 r. • Pierwsze próby liczenia EWD na przykładzie powiatu oświęcimskiego a potem krośnieńskiego i M.Krosna (prace dr M.K. Szmigel i A. Rappe – OKE Kraków)

23. Informacje o EWD • Kalkulator EWD (2005, 2006, 2007, 2008)www.ewd.edu.pl • Warsztaty EWD dla konsultantów, metodyków, dyrektorów (2007 i 2008) • Tematyka EWD na konferencjach PTDE od 2005 r. • Szereg publikacji w biuletynach i wydaniach książkowych CKE • Tematyka obecna na spotkaniach z dyrektorami • Dostępne informacje na stronie www.oke.krakow.pl • Wyniki EWD szkół (OKE w Krakowie) - system OBIEG

24. Projekt obejmuje lata 2007-2013

26. Edukacyjna wartość dodana jako jedna z miar jakości nauczania Poziom końcowy wiedzy Szkoła Zasoby na wejściu Jakość nauczania Edukacyjna wartość dodana jest przyrostem wiedzy i umiejętności uczniów w wyniku danego procesu edukacyjnego

27. Główne cele wprowadzania EWD • Zmniejszenie roli surowych wyników egzaminów jako jedynej miary jakości nauczania. • Diagnozowanie jakości nauczania celem nieustannej pracy nad poprawą efektywności nauczania. • Zachęcanie szkół do konkurencji jakością nauczania. • Docenienie pracy nauczycieli pracujących w środowiskach o niekorzystnych cechach społeczno-ekonomicznych.

28. Jak liczona jest EWD w polskim modelu? • Na podstawie wyniku ucznia na sprawdzianie szacujemy za pomocą metody regresji wynik przewidywany na egzaminie gimnazjalnym. • Obliczamy różnicę punktów – tzw. resztę – między faktycznym wynikiem ucznia na egzaminie a jego wynikiem przewidywanym. • Obliczamy średnią reszt, czyli EWD dla szkoły (gminy, powiatu, województwa). • Szacujemy przedział ufności dla EWD (jego długość zależy od liczby uczniów i od zróżnicowania wyników w szkole).

29. W polskiej metodzie szacowania EWD zastosowano: Dodatkową informację o uczniu (zmienne kontrolne) płeć dysleksja Uśrednienie reszt do średniej Określenie wiarygodności statystycznej przedział ufności dla średniej (przedział, w którym z prawdopodobieństwem 95% znajduje się EWD) Prezentacja wyników EWD w skalach: skala staninowa skala centylowa

30. EWD jest miarą względną • Model liczenia EWD jest tak dobrany aby nie faworyzować żadnej ze szkół – ani szkoły, w której przeważają uczniowie słabsi, ani też szkół z najlepszymi uczniami. • Prawdopodobieństwo uzyskania dodatniej lub ujemnej edukacyjnej wartości dodanej jest takie samo dla wszystkich szkół, niezależnie od składu uczniów na wejściu. • Wyniki EWD podawane są w punktach egzaminacyjnych egzaminu gimnazjalnego danego roku. • Podobnie jak dla średnich wyników egzaminacyjnych szkół, tak dla wskaźników EWD buduje się skalę staninową.

31. Wykorzystanie EWD Wykorzystanie nowego wskaźnika do oceny efektywności nauczania w: • kraju • województwie, • powiecie, • gminie, • gimnazjum • oddziale gimnazjum

32. Komunikowanie EWD

33. Krzywa regresji(linia przewidywanego wyniku) Przewidywany wynik GMP dla uczniów, którzy na sprawdzianie uzyskali 20 i 30 pkt.

35. Przedziały wyników punktowych dla 3 grup uczniów o różnym potencjale na podstawie wyników sprawdzianu, dla których liczymy EWD w kolejnych latach Uczniowie o średnim potencjale Uczniowie o wysokim potencjale Uczniowie zagrożeni niskimi osiągnięciami

36. * standardowa dziewiątka

37. * standardowa dziewiątka

38. W których województwach uczniowie uczynili największywzględny postęp w okresie nauki w gimnazjum? (2007)

39. EWD w województwie małopolskim w latach 2005-2007

40. Wskaźnik EWD 3-letni,Małopolska (2005-2007)

41. Z którą grupą uczniów: z wynikiem niskim, średnim, czy wysokim pracowano najefektywniej?

42. Przykładowe zestawienie wyników EWD dla gimnazjów w gminie

43. Tabela zależności dla szkół wyników średnich egzaminu i wskaźników EWD Gimnazja A, B, C, D, E, F, G, H, I, J

44. Jakie bodźce mogą skłonić szkoły do wykorzystania wskaźników EWD? „Dobra efektywność” mimo niskiej pozycji w rankingach „Wysoce efektywne” szkoły potwierdzone dwoma miarami D B Szkoły „nieefektywne” A Szkoły, które „spoczęły na laurach” C

45. „Dobra efektywność” mimo niskiej pozycji w rankingach „Wysoce efektywne” szkoły potwierdzone dwoma miarami Województwo małopolskie Szkoły „nieefektywne” Szkoły, które „spoczęły na laurach” Wynik części humanistycznej EWD części humanistycznej

46. „Dobra efektywność” mimo niskiej pozycji w rankingach Województwo małopolskie „Wysoce efektywne” szkoły potwierdzone dwoma miarami Szkoły „nieefektywne” Szkoły, które „spoczęły na laurach” Wynik części matematyczno-przyrodniczej EWD części matematyczno-przyrodniczej

47. EWD w gimnazjumDuże zróżnicowanie wyników „na wejściu” 2004 Problem: różna efektywność pracy z uczniami w części humanistycznej i matematyczno-przyrodniczej Wysoka efektywność w części humanistycznej (liczba uczniów z wynikami powyżej linii regresji) Niska efektywność w części matematyczno-przyrodniczej

48. EWD w gimnazjumDuże zróżnicowanie wyników „na wejściu” Problem: różna efektywność pracy z uczniami o różnym potencjale „na wejściu” Zaniedbanie uczniów najsłabszych w części humanistycznej i matematyczno-przyrodniczej

49. EWD w gimnazjum Przez sumowanie wyników pojedynczych uczniów i grupowanie według przedziałów (na rysunku środki przedziałów). Na osi pionowej liczebność uczniów. Najczęściej liczba wyników EWD równa „0” jest największa, co oznacza przeciętną efektywność dla tej grupy uczniów (na miarę wyniku na niższym etapie edukacyjnym). Dodatnia EWD – ponadprzeciętna efektywność Ujemna EWD – efektywność poniżej przeciętna

50. Klasa A Gimnazjum Klasa B Klasa C Różna efektywność pracy z uczniami w klasach