Metodologia badań społecznych Wykład IV-VII

1. Metodologia badań społecznychWykład IV-VII Roman Dolata Zakład Ewaluacji Instytucji Edukacyjnych Dyżury: piątki, 15.30-17.00, s. 314

2. Struktura tekstu naukowego – raport z badania - Streszczenie • Przedstawienie problemu badawczego • Metoda, czyli opis sposobu rozwiązania problemu badawczego • Przedstawienie wyników • Dyskusja wyników - Bibliografia - Aneks

3. Jak pisać streszczenie (abstrakt) • Abstrakt to krótki opis badania • Zawiera opis: • pytania/hipotezy badawczej • metody badania (próba, podstawowe pomiary, model analizy danych) • najważniejszych wyników oraz słowa kluczowe

4. Przedstawienie problemu badawczego • Wstępne określenie problemu, dlaczego jest ważny? • Przegląd literatury – co wiemy? • Definicje kluczowych pojęć • Sformułowanie pytania/hipotezy badawczej na poziomie teoretycznym

5. Przegląd literatury – gdzie szukać • Podręczniki (spis treści, indeks rzeczowy, słowniczki kluczowych pojęć) • Encyklopedie przedmiotowe • Monografie danego zagadnienia • Artykuły w prasie naukowej, w tym elektroniczne bazy tekstów: • artykuły przeglądowe, metaanalizy • raporty badawcze www.buw.uw.edu.pl

6. Przegląd literatury - zasady • Krytycyzm i szacowanie wartości źródła • Unikanie omawiania „z drugiej ręki” • Dokumentowanie źródeł • Pamiętanie cały czas, czemu służy przegląd literatury: synteza dotychczasowej wiedzy na dany temat • Zwracanie uwagi zarówno na otrzymane wyniki jak i na stosowane metody badania • Poszukiwanie badania „wzorcowego” dla naszego problemu badawczego

7. Cytowanie prac w tekście: psychologia, system amerykański • Jeden autor • (Feldman, 1966) • Feldman (1966) – jeśli w zdaniu wymieniamy nazwisko • Dwóch autorów • (Kahneman i Tversky, 1984) • Kilku autorów • Pierwszy raz wymieniamy wszystkich • (Cacioppo, Gardner i Berntson, 1997) • Kolejne odwoływania do tej pracy • (Cacioppo i inni, 1997) • Kilka prac na ten sam temat • (Ganzach, 1995; Gardner, 1996; Rowe, 1989)

8. Bibliografia • Alfabetyczny spis prac cytowanych w raporcie • Artykuły w prasie naukowej: • Markman J., M., Hanushek E., A., Kain J., F., Rivkin S., G. (2003) Does peer ability affect student achievement? Journal of Applied Econometrics, vol. 18(5), s. 527-544. • Seppänen P. (2003) Patterns of „public-school markets” in the Finnish comprehensive school from a comparative perspective. Journal of Educational Policy, vol. 18, no. 5, pp.513-531. • Książki: • Sternberg R., J., Wagner R. (1986) Practical intelligence: Origins of competence in everyday world. New York, Cambridge University Press. • Sanders W.L., Saxton A., Horn S. (1997) The Tennessee value-added assessment system: A quantitative, outcomes-based approach to educational assessment. W: J. Millman (ed.) Grading Teachers, Grading Schools: Is student achievements a valid measure? Thousand Oaks, CA, Corwin Press.

9. Definicje – tworzenie ładu pojęciowego • Definicja realna (DR) – stwierdzenie zasadniczej natury lub cech istotnych danego zjawiska • Poszukiwanie DR jest przejawem naiwnego realizmu. DR ewentualnie wieńczy proces badawczy, a nie go otwiera

10. Definicje – tworzenie ładu pojęciowego, cd • Definicja nominalna (DN) – znaczenie przypisane do danego terminu bez żadnych roszczeń co do oddania „istoty rzeczy”. Konwencja terminologiczna • DN nie przysługuje wartość logiczna • Regulacyjne i projektujące DN • Wartość DN - użyteczność

11. Definicje – tworzenie ładu pojęciowego, cd • Definicja sprawozdawcza (DS) – jak wspólnota naukowa definiuje dany termin; rekonstrukcja różnych sposobów definiowania • DS są ważne w naukach społecznych, pozwalają świadomie wybrać odpowiednią dla danego badania DN

12. Definicje – tworzenie ładu pojęciowego, cd • Definicja operacyjna (DO) – określenie, jak będzie wyglądał sposób badania/mierzenia danego zjawiska • DO są pochodną metody badawczej • DO wyznaczają zakres dopuszczalnych interpretacji wyników badania (uogólnienia wyniku) • Operacjonizm – szersza koncepcja metodologiczna, która dopuszcza stosowanie w języku nauki tylko operacyjne zdefiniowanych terminów • Przykład operacjonizmu w psychologii – Inteligencja to to, co mierzą testy inteligencji. Mamy więc tyle inteligencji, ile narzędzi do pomiaru inteligencji.

13. Definicje – tworzenie ładu pojęciowego, cd • Najważniejsze błędy w definiowaniu • nieznane przez nieznane • błędne koło • wielosłowie, zbyteczna komplikacja • niejasność • wieloznaczność

14. Metoda badania • Określenie badanej populacji, jednostki analizy, jednostki obserwacji • Pobieranie próby • Schemat badania • Pomiar zmiennych, wskaźniki • Model analizy wyników • Pytanie badawcze/hipoteza w postaci operacyjnej

15. Określenie badanej populacji • Populacja – zbiór obiektów, na który będziemy uogólniać otrzymane wyniki • Populacje jednoelementowe: studia przypadków, podejście idiograficzne • Populacje jednorodne – w badaniach społecznych praktycznie nie występują • Populacje niejednorodne – badania wyczerpujące i badania na reprezentatywnych próbkach

16. Dobór obiektu badania w studium przypadku • Przesłanki praktyczne: • Skąd biorą się problemy w nauce szkolnej Jasia? • Dlaczego szkoła X tak nieefektywnie uczy? • Przesłanki teoretyczne: • Czy zaburzenia relacji emocjonalnych matka-dziecko są koniecznym warunkiem wystąpienia autyzmu? • Czy poprawa warunków życia grup społecznie upośledzonych zawsze poprzedza rewolucje społeczne?

17. Badania wyczerpujące • Badania wyczerpujące dużych populacji są rzadkie • Spisy powszechne • Powszechne testy lub egzaminy szkolne

18. Dobór obiektów badania w badaniach reprezentatywnych • Próba (próbka) – zbiór obiektów pobranych z populacji i poddanych badaniu • Wyniki uzyskane w próbie można uogólniać na populację tylko wtedy, gdy próba jest reprezentatywna • Próba jest reprezentatywna, jeżeli jest „populacją w miniaturze” • Jedyną, w pełni akceptowalną metodą tworzenia prób reprezentatywnych jest losowanie obiektów z populacji

19. Jednostka analizy, jednostka obserwacji • Jednostka analizy: kto lub co jest obiektem, którego dotyczy pytanie badawcze lub hipoteza • Jednostka obserwacji (badania): kto lub co jest obiektem pomiaru/zbierania danych • Wyuczona bezradność prowadzi do niskich osiągnięć szkolnych . • Rywalizacyjny klimat klasy zwiększa zróżnicowanie osiągnięć szkolnych. • Granie w gry komputerowe zawierające agresję podwyższa poziom lęku. • Dokumenty oficjalne zawierają mniej przymiotników niż dokumenty prywatne.

20. Nielosowe metody doboru próby • Dobór przypadkowy (np. dostępność) • Dobór celowy • Metoda kuli śnieżnej • Dobór kwotowy • Dobór parami w badaniu porównawczym

21. Losowe metody doboru próby • Populacja pożądana i faktycznie badana • Operat losowania • Metody losowania • Prosty dobór losowy • Systematyczny dobór losowy • Dobór warstwowy • Dobór grupowy

22. Inne warunki reprezentatywności próby • By móc wyniki z próby prawomocnie uogólnić na populację (uznać je za reprezentatywne) ważny jest nie tylko sposób doboru próby, ale również tzw. stopa realizacji badania. • Losowe i nielosowe braki danych.

23. Schematy badań Nomotetyczny vs idiograficzne Nomotetyczne: • Badanie surveyowe (przeglądowe, opisowe): jedna populacja, pytanie o nasilenie zjawiska • Badania korelacyjne: jedna populacja, pytanie o korelację • Badania porównawcze: dwie lub więcej populacji, pytanie o nasilenie • Badania eksperymentalne: jedna populacja, weryfikacja hipotez przyczynowo-skutkowych

24. Schematy badań, cd Wymiar czasu: Badania poprzeczne (przekrojowe, statyczne) Badania podłużne (panelowe, dynamiczne) • Ta sama kohorta przez wiele lat • Różne kohorty w tej samej fazie rozwojowej

25. Pozyskiwanie danych: podejście jakościowe • Obserwacja etnograficzna • Wywiad pogłębiony • Analiza treści (dokumentów)

26. Pozyskiwanie danych: podejście ilościowe • Obserwacja ilościowa • Testy • Wywiad standaryzowany – ankieta

27. Jakie informacje przenoszą dane liczbowe? • Liczby jako wynik pomiaru • relacje między liczbami – wynikami pomiaru - mają oddawać relacje między badanymi obiektami pod danym względem • Skale pomiarowe: • skala nominalna • skala porządkowa • skala interwałowa • skala ilorazowa • Typ skali pomiarowej decyduje o dopuszczalnych interpretacjach wyników pomiaru i możliwych do zastosowaniach modelach statystycznych analizy danych

28. Skala nominalna • Nominalna – nazwy kategorii • Skala dychotomiczna: tylko dwie możliwe wartości • wykonał/nie wykonał zadania • kobieta/mężczyzna • Więcej możliwych wartości • wyznanie religijne • ulubione kolory

29. Skala porządkowa • Porządkowa: miejsce w porządku • Poziom wykształcenia: zawodowe średnie wyższe • Wynik rangowania przez badanego jakiś obiektów, np. hierarchia wartości • Liczba uzyskanych punktów w teście umiejętności (wynik surowy)

30. Skala interwałowa • Interwałowa – miejsce w porządku i stała jednostka • Skala temperatury Celsjusza • Wynik testu wyrażony w znormalizowanej skali standardowej • Ogólnie: ustalona jednostka, ale arbitralny punkt zerowy

31. Przykładowe skale interwałowe oparte na odchyleniu standardowymna podstawie: H. Szaleniec, Przejście od komunikowania rezultatów egzaminu w postaci wyników surowych do wyników w skali standardowej

32. Skala ilorazowa Ilorazowa: miejsce w porządku, stała jednostka, niearbitralny punkt zerowy • Wzrost wyrażony w ustalonej jednostce • Temperatura w skali Kelwina • Liczba uczniów w klasie

33. Obserwacja ilościowa • Obserwacja ilościowa jest: • skategoryzowana • niskoinferencyjna • Obserwacja szerokiego spektrum zjawisk w krótkich okresach czasu – próbki czasowe • np. interakcje uczniowie- nauczyciel na lekcji • Obserwacja wystąpienia określonego zjawiska w długim okresie czasu - próbki zdarzeń np. zachowania agresywne uczniów na przerwie

34. Testy • Zjawiska, które badamy często mają charakter bezpośrednio nieobserwowalny • Wnioskuje się wtedy o wystąpieniu/nasileniu zjawiska na podstawie wskaźników • Wiązki wskaźników spełniające warunki dobrego pomiaru to testy

35. Wskaźniki (przykłady) • Zapamiętania – poprawne odtworzenie, liczba rozpoznanych elementów, przewidzenie kolejnego elementu, ilość zniekształceń, czas rozpoznania; • Zadowolenia – odwzajemnienie uśmiechu, ocena neutralnej fotografii, odpowiedź na skali szacunkowej, testy fizjologiczne (szerokość źrenic), postawa ciała, szybkość chodzenia; • Lęku – długość utrzymywania kontaktu wzrokowego, wskaźniki fizjologiczne, szybkość przechodzenia przez ulicę, tiki, ocena prawdopodobieństwa, że spotka nas nieszczęście ; • Wpływu społecznego – skłonność do ulegania prośbom, naśladownictwo, zmiana postawy;

36. Co można badać za pomocą testów • Inteligencję i inne cechy osobowości • Osiągnięcia szkolne • Dyspozycje zawodowe • Uprzedzenia etniczne • Klimat klasy szkolnej • Typ przywództwa w instytucji • I wiele innych cech jednostek, grup czy instytucji

37. Cechy dobrego testu • Obiektywność • Explicite sformułowane przesłanki budowy testu • Standaryzacja • Ustalona, powtarzalna procedura testowania • Trafność • Czy test mierzy, to co ma mierzyć • Rzetelność • Jak dokładnie test mierzy to, co ma mierzyć

38. Trafność testu

39. Trafność zadania testowego

40. Aspekty trafności testu • Definicyjny • Czy wskaźniki są zgodne z przyjętą definicją badanego zjawiska • Fasadowy • Czy test zdaniem użytkowników i odbiorców jest adekwatny • Prognostyczny • Czy test pozwala prognozować wystąpienie interesujących badacza zjawisk • Teoretyczny • Czy układ zależności uzyskanych w badaniu sprawdzającym jakość testu jest zgodny z teoretycznymi przewidywaniami

41. Rzetelność testu

42. Rzetelność testu • Każdy pomiar obarczony jest niepewnością pomiarową • Klasyczne ujęcie niepewności pomiarowej wynik empiryczny = wynik prawdziwy + błąd pomiaru Wynik prawdziwy: średni wynik z nieskończonej liczby powtórzeń testu

43. Błąd pomiaru Wynik osoby w teście Uczeń Niskie Wysokie Wyniki

44. Błąd pomiaru Wynik osoby w teście Wynik prawdziwy Uczeń Błąd pomiaru Wysokie Niskie Wyniki

45. Główne źródła błędu pomiaru na przykładzie testów osiągnięć szkolnych Arbitralność doboru zadań testowych Niedostatki standaryzacji procedury testowej Zgadywanie w zadaniach zamkniętych Punktowanie zadań otwartych Ściąganie Losowe wahania dyspozycji intelektualnych ucznia Błędy systematyczne: stronniczość testu

46. Metody określania rzetelności wyniku testu • Dwukrotne testowanie • Korelacja między wynikami dwóch testów • Metoda połówkowa • Korelacja między wynikami dwóch połówek • Wewnętrzna spójność testu • Wsp. rzetelności Alfa Cronbacha • Eksperymentalne określanie rzetelności kodowania

47. Intertretacja ws. Alfa Cronbacha

48. Wykorzystanie współczynnika rzetelności w interpretacji wyniku testu Wyznaczanie przedziału ufności dla wyniku indywidualnego

49. Idea szacowania przedziału ufności Wynik ucznia w teście Uczeń Wysokie Niskie Wyniki

50. Idea szacowania przedziału ufności Uczeń Wysokie Niskie Wyniki