Twarze sondażu

1. Twarze sondażu Twarze sondażu ADI 2014 Henryk Banaszak Zakład Statystyki, Demografii i Socjologii Matematycznej

2. Czym jest sondaż: pytanie Pytanie: jaka jest frakcja (odsetek, procent, proporcja)zielonych kul w tym pudle? odpowiedź Pudło z kulkami dwóch kolorów, czerwonym i zielonym. Kul jest bardzo dużo. Nie jesteśmy w stanie ustalić koloru wszystkich kul. Chcemy wiedzieć jaką część stanowią kule zielone. Możemy ustalić kolor pewnej liczby kul wyjętych z pojemnika. Ustalenie koloru każdej kuli wyjętej z pojemnika kosztuje

3. Czym jest sondaż: wymagania wobec odpowiedzi Odpowiedź Pytanie Jaka jest frakcja (odsetek, procent, proporcja)zielonych kulw pojemniku? Trafna - odpowiedź ma być bliska stanowi rzeczy Wiarygodna – wykorzystam w pełni wszystkie informacje, za które zapłaciłem, nic istotnego dla jakości odpowiedzi nie zostanie pominięte ani zniekształceone Precyzyjna - z jak największą dokładnością, z jak najlepszym przybliżeniem Tania – jak najmniejszym kosztem.

4. Czym jest sondaż: składniki problemu i rozwiązania Problem Przedmiot Zakres Kolor kul Cel odsetek kul zielonych Rozwiązanie Metoda • Wybiorę z pudła n kul • Wybierał będę losowo ze zwracaniem • Policzę, ile wśród wybranych jest kul zielonych – k • Wyznaczę odsetek zielonych wśród wybranych p=k/n • Na podstawie p udzielę odpowiedzi Wynik Odpowiedź jest przedziałem [p – e ; p + e]

5. Czym jest sondaż: parametry rozwiązania Trafność Wiarygodność poziom ufności wniosku Precyzyja Koszt Koszt = n* 1 color cost

6. Czym jest sondaż: proporcja kul a „sondaż prawdziwy”

7. Czym jest sondaż: struktura logiczna Nieznana proporcja zielonych w populacji Znana własność próby skład próby: k kulek zielonych losowanie obliczenia pytanie ze zwracaniem Estymacja p odpowiedź wniosek Czym jest sondaż dokładność Populacja Schemat doboru próby Metoda wnioskowania

8. Sondaż jest badaniem statystycznym Przedmiot populacja zestaw zmiennych służących do wyznaczenia odpowiedzi na pytania Zakres Cel zestaw pytańna temat rozkładów zmiennych w populacji badanie próbypobieranej z badanej populacjiwedług schematu opisywanego w kategoriach probabilistycznych Metoda Wynik odpowiedzi na pytaniana temat populacjina podstawie analizy łącznego rozkładu zmiennychwyznaczonych w próbiedobranej wedle schematu opisywanego w kategoriach probabilistycznych; oszacowania parametrów populacji

9. Dlaczego sondaż jest zawsze badaniem statystycznym • Przedmiotem każdego badania sondażowego jest zbiorowość, agregat statystyczny nazywany populacją, Sondaż jest diagnozą stanu populacji przeprowadzaną w warunkach niepewności i ryzyka popełnienia błędu • Stan populacji (diagnoza) jest sformułowany stosownie do jej specyfiki - w języku statystyki opisowej • O stanie populacji wnioskuje się na podstawie wyników uzyskanych w rezultacie badania próby wylosowanej z populacji • Wynik uzyskany w wylosowanej i zbadanej próbie jest zdarzeniem losowym Sposób losowania próby opisany jest w języku rachunku prawdopodobieństwa • Reguły wnioskowania na temat populacji na podstawie wyniku w próbie są wywiedzione z twierdzeń statytyki inferencyjnej • Reguły wnioskowania na temat populacji na podstawie stanu próby wynikają ze sposobu jej losowania i wymagań odnośnie poziomu wiarygodności i precyzji wniosków

10. Kostrukcja reguł wnioskowania statystycznego Pytanie Parametr rozkładu zmiennej X w populacji Próba Schemat losowania póby Prawdopodobieństwa inkluzji Wynik Statystyka z próby Dobry estymator parametru Rozkład estymatora Liczebność póby Założenia Dokładnośc oszacowania Reguła wnioskowania Poziom ufności

11. Kostrukcja reguł wnioskowania statystycznego: przykład ogólny Pytanie Parametr rozkładu zmiennej X w populacji Losowanie ze zwracaniem Próba Schemat losowania póby Każdy obiekt ma identyczne p-two inkluzji równe P(wh  S) = n/N Estymator Statystyka z próby Rozkład estymatora Centralne twierdzenie graniczne Założenia Poziom ufności  = 0,95 Dokładność oszacowania Reguła wnioskowania

12. Kostrukcja reguł wnioskowania: dwa przykłady empiryczne Przykład 1 Dane Z populacji uprawnionych do głosowania wylosowano ze zwracaniem 400 osób. Wśród wylosowanych 250 zamierza wziąć udział w wyborach. Na poziomie ufności 0,95 oszacuj populacyjną proporcję deklaracji udziału w wyborach Wniosek Przykład 2 Dane Z populacji uprawnionych do głosowania wylosowano ze zwracaniem 400 osób. Wśród wylosowanych 15 zamierza głosować na kandydata X. Na poziomie ufności 0,95 oszacuj populacyjną proporcję deklaracji głosowania na kandydata X TO niemożliwe !!!!! Wniosek

13. Kostrukcja reguł wnioskowania nie zawsze jest prosta: W populacji Ω składającej się z N elementów jest nieznana liczba M elementów wyrożnionych. Oszacuj przedziałowo populacyjną frakcję  = M/N na podstawie wyniku w n-elementowej próbie pobranej z populacji Ω . Problem Przedział ufności dla frakcji Rozwiązanieogólne Reguła wnioskowania Rozwiązanieprzykładu 2

14. Specyfika badania statystycznego • Wynik badania jest parametrem statystycznym • Wynik badania jest obciążony niepewnością • Rozmiar niepewności można wyliczyć znając: • Własności operatu • Schemat doboru próby • Poziom non-response • Poziom braków odpowiedzi • Jakość realizacji (false records) Czynniki 3, 4 i 5 zależą głównie od wykonawcybadania

15. Sondaż jest usługą Usługą jest udzielenie odpowiedzi na pytania na temat populacji Usługę można wykonać dobrze lub źle Statystyczna ocena jakości usługi sondażowej sprowadza się do oceny dokładności populacyjnych oszacowań Niestatystyczne kryteria oceny jakości sondażu to trafność czas koszt

16. Sondaż dobrej jakości Dobrze odpowiada na pytania • Które zamawiający postawił • Odpowiada trafnie • Odpowiada wiarygodnie • Odpowiadaprecyzyjnie Kosztuje nie więcej niż to niezbędne Trwa nie dłużej niż to niezbędne

17. Niezbędne elementy dobrego sondażu • Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe • Umiejętność konstruowania dobrego kwestionariusza w pełni załuguje na określenie „sztuka” . Trzeba się jej nauczyć, najlepiej na cudzych błędach. Kopalnia inspiracji są kwestionariusze stosowane w badaniach rynkowych • Dobra próba losowa – optymalne warstwowanie, optymalna alokacja, małe wariancje estymatorów • Warto czasmi wydać nieco środków na zdobycie takich informacji o pulacji, które umożliwią zoptymalizować stosunek dokładności oszacowań do liczebności próby oraz kosztów terenowej realizacji badania. Zważywszy, że znaczną część kosztow realizacji stanowią dojazdy ankietera do osoby wylosowanej, warto uwzględnić ten czynnik na etapie alokacji próby. • Dobra realizacja – wysoki response rate, równomierność realizacji, niski poziom braków danych, niska stopa oszustw, brak efektu ankieterskiego • Szansę na szybką i wysokiej jakości realizację dają tylko agencje badawcze z wystaczającymi zasobami o doświadczeniem. Niestety, agencje takie są duże i mają nad nad klientem przewagę kompetencji, co utrudnia wyegzekwowanie niezbędnej jakości realizacji. • Dobra analiza danych - adekwatny opis statystyczny i poprawne wnioskowanie • Analizę danych powinna wykonywac ta sama osoba, która brała udział w projektowaniu badania. Musi mieć statystyczne i metodologiczne kwalifikacje.

18. Kwestionariusz – Próba – Realizacja – Analiza danych Kwestionariusz Kwestionariusz – Próba – Realizacja – Analiza danych

19. Dobry kwestionariusz: zadanie dla zamawiającego Dobry kwestionariusz: dobra teoria, trafne wskaźniki, dobre modele pomiarowe • Odpowiedzi to wskaźniki • Wskaźnikicechy ukrytej Teoriazjawiska, teoriareakcji, teoriaskalowania model pomiarowy Cecha ukryta (estymacja parametru populacji)

20. Inteligentne wskaźniki Szacowanie frekwencji wyborczej w wyborach parlamentarnych Czyzamierza Pan(i)wziąć udziałw wyborachw najbliższą niedzielę? Jak Pan(i)sądzi, jaka będzie frekwencja w wyborachw najbliższą niedzielę? 1. Tak2. Nie3. Nie wiem |___| % Średnia odsetków podawanych przez respondentów % odpowiedzi TAK

21. Inteligentne wskaźniki Wyznaczanie ceny produktu, przy której oczekiwana liczba nabywców będzie największa Przy jakiej cenie uznałbyś produkt za zbyt tani, aby mógł być dobrej jakości? (Cheap) Przy jakiej cenie uznałbyś produkt za tani, ale odpowiedniej jakości? (Too Cheap) Przy jakiej cenie uznałbyś produkt za drogi, ale wart ewentualnego zakupu? (Expensive) Przy jakiej cenie uznałbyś produkt za zbyt drogi i nie wart zakupu? (Too Expensive) Za ile kupiłbyś produkt? |_______| zł kwota średniaśrodkowa

22. Skalowanie złożone – SEI Socio-Economic-Index: skala społeczno-ekonomicznego statusu zawodu

23. Skalowanie złożone: poziom zadowolenia z …. Bardzo zadowolony(a) Zadowolony(a) Niezadowolony(a) Bardzo niezadowolony(a) Jak bardzo zadwolony(a) jest Pan(i) ze swojego miejsca zamieszkania ? % odpowiedzi 1, 2 Jak bardzo zadowolony(a) jest Pan(i) X1 ze swoich sąsiadów Cecha ukryta: poziom zadowoleniaZ X2 z poziomu czystości Biorąc to wszystko pod uwagę, proszę powiedzieć, jak Panu(i) się żyje w Pana(i) okolicy? Y X3 z zaopatrzenia sklepów X4 z placówek kulturalnych X5 z poziomu bezpieczeństwa Wyznacz takie wartości Z, które najlepiej przewidują odpowiedź Y Wskaźniki typu „źródła” Wskaźniki typu „skutki”

24. Q1 ogólne oczekiwania Q9 czy złożył skargę poziom wymagańwzględem usługi skargi na jakość usługi i sposób ich załatwiania Q6 ogólna satysfakcja Q5 ogólna ocena jakości Q10A/B reakcja na skargę poziom satysfakcji z usługi Q11 polecanie usługi innym Q8 porównaniez ideałem wskaźnikijakości zaufanie do jakości usługiw przyszłości Q7 spełnianie oczekiwań Q12 wiara w stabilność poziomu jakości Q2 ocena jakości wymiaru 1 Q3 ocena jakości wymiaru 2 Q4 ocena jakości wymiaru 3 Skalowanie złożone: American Consumer Satisfaction Index (ACSI) Jak bardzo zadwolony(a) jest Pan(i) z usługi? Bardzo zadowolony(a) Zadowolony(a) Niezadowolony(a) Bardzo niezadowolony(a) % odpowiedzi 1, 2 odczuwana jakość usługi Model pomiarowy ACSI dla usług

25. Źródła kapitału ekonomicznego Kapitał sieciowy Źródła kapitału kulturowego Manifestacje kapitału ekonomicznego Manifestacje kapitału kulturowego Skalowanie poziomu ekonomicznego i kulturowego kapitału jednostki KE-in Model skalowania strukturalnego inspirowany przez teorię Bourdieu KK-in KE-out KK-out KE-in KK-in Wskaźniki Wskaźniki KK-out KE-out Wskaźniki Wskaźniki

26. Kwestionariusz – Próba – Realizacja – Analiza danych Próba Kwestionariusz – Próba – Realizacja – Analiza danych

27. Probabilistyczny sposób doboru próby 1) o wyborze obiektów do badania, decyduje mechanizm losowy o znanych własnościach, a w konsekwencji: 2) każdy obiekt populacji ma dającą się obliczyć szansę (prawdopodobieństwo) bycia wylosowanym, nazywaną prawdopodobieństwem inkluzji a w konsekwencji: 3) dla każdego składu próby (rezultatu losowania) daje się obliczyć prawdopodobieństwo jego uzyskania, a w konsekwencji: a) umożliwia obliczenie dokładności oszacowań parametrów populacji przy założonym schemacie doboru próby i założonym poziomie ufności wniosku, b) pozwala na ustalenie minimalnej liczebności próby niezbędnej do osiągnięcia założonej dokładności oszacowań błędu przy założonym schemacie doboru próby i założonym poziomie ufności wniosku

28. Przy losowym doborze próby § Wynik losowania próby jest zdarzeniemlosowym. § Wartości parametrów statystycznych wyznaczonych w próbie również są zdarzeniami losowymi. § Jeśli zdarzenie losowe jest charakteryzowane za pomocą liczb, mamy do czynienia ze zmiennymi losowymi. § Znajomość rozkładów prawdopodobieństwa na zbiorze rezultatów badania statystycznego, tak zwanych statystyk z próby, jest niezbędna do uzasadnienia reguł wnioskowania statystycznego. § Wnioskowanie statystyczne jest możliwe dzięki temu, iż rozkłady statystyk z próby bywają zbliżone do rozkładów zmiennych losowych dobrze znanych w rachunku prawdopodobieństwa. § Zbieżność rozkładów statystyk z póby badają zawodowi matematycy (specjaliści w zakresie raachunku prawdopodobieństwa) a rezultaty ich badań noszą nazwę twierdzeń granicznych

29. Rozkład normalny  =10 Kwestionariusz – Próba – Realizacja – Analiza danych

30. Rozkład normalny standaryzowany m=0, s=1 x Kwestionariusz – Próba – Realizacja – Analiza danych

31. Rozkład chi-kwadrat dla kilku stopni swobody r Kwestionariusz – Próba – Realizacja – Analiza danych

32. Forma twierdzeń granicznych Wraz ze wzrostem liczby losowanych obiektów rozkłady prawdopodobieństwa wyników badania statystycznego stają się tak podobne do rozkładów pewnych zmiennych losowych, że można używać tych zmiennych jako podstawy do estymacji parametrów populacji i testowania hipotez na jej temat Kwestionariusz – Próba – Realizacja – Analiza danych

34. Przykład twierdzenia granicznego dla średniej z próby Twierdzenie o zbieżności rozkładu średniej z próby do rozkładu normalnego (CTG) Błąd oszacowania Minimalna liczebność próby Kwestionariusz – Próba – Realizacja – Analiza danych

35. Dokładność oszacowań frakcji populacyjnej a wielkość losowej próby

36. Granice stosowalności CTG w estymacji populacyjnej frakcji

37. Schemat wnioskowania w badaniu sondażowym • (1) Dobrano losowo 1600-osobową próbę wyborców • (2) W wylosowanej próbie 400 respondentów, to jest 25% badanych, deklarowało chęć głosowania na partię X • wobec tego • (3) W populacji wyborców odsetek deklarujących zamiar głosowania na partię X wynosi 25% +/- 2,5%, to jest między 22,5% a 27,5%. (1) & (2) (3) Kwestionariusz – Próba – Realizacja – Analiza danych

38. Przykład wnioskowania w badaniu sondażowym (Przykład fikcyjny) Liczebności prób Styczeń: n=81, Luty: n=121, Marzec: n=64, Kwiecień: n=121, Maj: n=225 Które zmiany proporcji są statystycznie znaczące? Kwestionariusz – Próba – Realizacja – Analiza danych

39. Losowy dobór prób – problemy praktyczne • Jakość operatu a dokładność oszacowań • Schemat doboru: • koszt i czas realizacji • dokładność oszacowań Kwestionariusz – Próba – Realizacja – Analiza danych

40. Losowy dobór w praktyce - operat losowania Operat= lista wszystkich obiektów badanej populacji Kwestionariusz – Próba – Realizacja – Analiza danych

41. Dostępne operaty dla prób ogólnopolskich Kwestionariusz – Próba – Realizacja – Analiza danych

42. Schematy doboru prób • Dobór prosty zależny • po jednym obiekcie z badanej zbiorowości (jak liczby w normalnym lotku): • przykłady: adresowa próba osób zamieszkałych we wskazanej gminie (uzyskiwana z PESEL,), próba mieszkań z rejonu spisowego (GUS); Dobór taki w postaci czystej dla badań ogólnopolskich nie jest stosowany - można by otrzymać np. 1000- osobową próbę rozrzuconą między 1000 miejscowości. • Dobór prosty systematyczny • „co k-ty obiekt wylosowany” - np. co 40-ty wychodzący z lokalu wyborczego. losuje się jedną tylko liczbę (od 1 do k) określającą punkt startowy; przykłady: co któryś wychodzący ( exit poll), stosowany także w badaniach audytoriów kinowych; • Dobór zespołowy • zbiorowość podzielona jest na zespoły (części) - losuje się części i potem bada wszystkie obiekty, które do nich należą; np. losowanie klas szkolnych (bada się wszystkich uczniów w klasie) • Dobór wielostopniowy: • warstwowy: najpierw dzieli się zbiorowość na rozłączne części - warstwy (np. na regiony, województwa, na część miejską i wiejską), a potem losuje obiekty z każdej z warstw osobno (być może nawet dla każdej w inny sposób); zazwyczaj celem badania jest szacowanie parametrów warstwy jak i populacji generalnej. • zespołowy: losuje się najpierw zespół a potem z zespołu losuje się obiekty. Np. losujemy gminy (miejscowości) a potem osoby w nich zamieszkałe. Kwestionariusz – Próba – Realizacja – Analiza danych

43. Popularne złożone schematy doboru prób • Próba adresowa gospodarstw domowych i schemat Kish • Jednostką losowania jest mieszkanie losowane z operatu GUS • W wylosowanym mieszkaniu ankieter przeprowadza mikrospis członków gospodarstwa domowego • Po przeprowadzeniu mikrospisu ankieter wybiera (przy użyciu tabel z liczbami losowymi) losowo członka gospodarstwa, który staje się respondentem • Wady: • Trudność kontroli jakości mikrospisu • trudność kontroli przyczyn niezrealizowania wywiadu • Konieczność wyznaczania wag analitycznych post-factum • Losowo-kwotowy dobór prób w badaniach typu OMNIBUS • Populację dzieli się na warstwy terytorialne i klasy wielkości miejscowości • Dla każdej z warstw losuje się taką liczbę gmin wjaka wynika z założonego sposobu podziału próby między warstwy, • W każdej z wylosowanych gmin ankieter rekrutuje respondentów zgodnie z listą ich profili definiowaną przez kryteria doboru (płeć, wiek, wykształcenie i ewentualne kryteria dodatkowe) • Nielosowość doboru ogranicza się tu do wąskiej warstwy osób spełniających wszystkie kryteria rekrutacji Kwestionariusz – Próba – Realizacja – Analiza danych

44. Dobór nielosowy • Cechy doboru celowego: o składzie badanej próby decydują badacz (określa kryteria doboru) i ankieter - wybiera spośród obiektów spełniających kryteria, • do określenia kryteriów doboru dla każdego respondenta potrzebna jest wiedza o łącznych rozkładach cech w interesującej badacza zbiorowości - należy ją zdobyć zwykle za pomocą badań na próbach losowych . Dobór losowo-kwotowy: losowa alokacja terytorialna (miasto-wieś, regiony, województwa, gminy wiejskie, miejskie) a następnie celowy dobór respondentów Dobrze skonstruowana próba kwotowa (dobierana celowo) daje niekiedy dokładniejsze oszacowania niż mało liczna próba losowa. Pożądane własności nielosowych metod doboru: uzyskanie “dobrego przedstawicielstwa” populacji ze względu na ważne dla nas cechy, czyli reprezentatywności grupy zbadanej w przedmiotowym sensie. Kwestionariusz – Próba – Realizacja – Analiza danych

45. Próba losowo-kwotowa: konstrukcja Kwestionariusz – Próba – Realizacja – Analiza danych

46. Kiedy warto stosować próby kwotowe • Warto stosować losowo-kwotowe gdy: • Rozkłady zmiennych zależnych zależą silnie od regionu (typu) miejsca zamieszkania • Rozkłady zmiennych zależnych zależą silnie od tych cech, które mogą być kryteriami doboru respondentów (płeć, wiek, wykształcenie); • Rozkłady łączne cech doboru respondentów w populacji są dostępne i wiarygodne, • Target group stanowi niewielką część populacji generalnej lecz jego członkowie daja się łatwo (najlepiej bez pytania) zidentyfikować - wówczas przynależność do target group może być dodatkowym kryterium selekcji Kwestionariusz – Próba – Realizacja – Analiza danych

47. Sondaże złe oraz nie-sondaże Kwestionariusz – Próba – Realizacja – Analiza danych

48. Pułapki sondaży telefonicznych Kwestionariusz – Próba – Realizacja – Analiza danych

49. Realizacja

50. Kwestionariusz – Próba – Realizacja – Analiza danych Realizacja • Sposoby komunikacji z respondentem i ich własności: PAPI – CAPI – CATI - WAPI Czy ankieterzy oszukują Efekt ankieterski. Dlaczego CAPI. Lekarstwo na złą realizację - terenowa kontrola jakości pracy ankieterów Kwestionariusz – Próba – Realizacja – Analiza danych