Wegen en corrigeren voor design effecten in gezondheidsenquêtes

1. GGD Amsterdam Wegen en corrigeren voor design effectenin gezondheidsenquêtes Daan Uitenbroek GGD Amsterdam Quantitativeskills/Quakunde Daan Uitenbroek, Designeffecten

2. De presentatie Bronnen over wegen en designeffecten Wegen, waarom en hoe in het kort Oorzaken van designeffecten Hoe groot zijn designeffecten Corrigeren voor designeffecten Met de nadruk op SPSS-Complex Samples Daan Uitenbroek, Designeffecten

3. Bronnen Deze presentatie en nog wat andere zaken: http://www.quantitativeskills.com/ggd/wegen.htm Literatuur: Uitenbroek DG. Design, wegen en het designeffect in GGD gezondheidsenquêtes Verschijnt in TSG, Engels talige versie op Quantitativeskills.com van den Brink C. e.a. Richtlijn wegen voor epidemiologen. Bilthoven, RIVM: 2009. Kish L. Weighting for Unequal Pi. J Off Statistics 1992;8:183-200. Kish L. Methods for Design Effects. J Off Stat 1995;11:55-77. http://www.quantitativeskills.com/manuals/weighting.htm SPSS Complex Samples manual, gratis op: http://sw.cs.uoguelph.ca/dsoft/SPSS/SPSS15Manuals/SPSS%20Complex%20Samples%2015.0.pdf Wesvar Manual, gratis op: http://www.westat.com/wesvar/ Daan Uitenbroek, Designeffecten

4. Wegen, waarom en hoe Daan Uitenbroek, Designeffecten

5. Wat voor design effecten en wat betekent dat • Het design effect ontstaat bij wegen doordat je • Kleine groepen relatief belangrijk maakt (precisie verlies) • Grotere groepen relatief minder belangrijk (precisie winst) • Verlies a is groter dan winst b, je algemene schatters worden minder precies • Gevolg: • Betrouwbaarheidsintervallen worden breder • Verschillen worden minder snel significant • Design effect (variantie inflatie) -> deff -> var (y)^ = var (y)*deff -> • effectieve N^ = (1/design effect) * gerealiseerde N • Design factor (error inflatie) -> deft -> x + 1.96 * deft * s.e.(x) • Deft=√deff Daan Uitenbroek, Designeffecten

6. Tabel 1. Voorbeelden van designs van gezondheidsenquêtes uitgevoerd door GGD’en. Wat betekent dat in de praktijk, hoe belangrijk is dat Daan Uitenbroek, Designeffecten

7. Tabel 2. Design voor de gezondheidsenquête Amstelland de Meerlanden, berekening designeffect, gewichten en effect van design op vaststellen van het percentage inwoners dat geluidshinder van vliegtuigen ervaart. Wat betekent dat in de praktijk, hoe belangrijk is dat Deze tabel is gebaseerd op tabel 2.1 uit Ten Brinke JM., Verhagen CE. Hoe gezond is de regio? Gezondheidspeiling 2002; en tabel 5.3 uit: Hoe gezond is de regio? Supplement. Gezondheidspeiling 2002. Beide: Amstelveen: GGD Amstelland de Meerlanden. Daan Uitenbroek, Designeffecten

8. Berekenen en toepassen designeffect • De rekenwijze verschilt per statistiek, • Je hebt dus meerdere verschillende designeffecten binnen een studie. • Berekening voor designeffect Deff voor één gemiddelde • op de hand (zoals in de voorgaande dia) • met SISA-weights (SISA onemean voor de betrouwbaarheidsintval) • Berekening Deff voor de vergelijking van twee gemiddelden (t-test) • op de hand • met SISA-weights (SISA t-test voor de significantie van het verschil) Daan Uitenbroek, Designeffecten

9. Berekenen en toepassen designeffect • Voor alle andere statistieken met een speciaal programma • Epi Info Complex Samples (gratis, redelijk vriendelijk maar beperkt) • SPSS Complex Samples (kost geld, zeer vriendelijk en uitgebreid) • Survey in R (gratis, uitgebreid, maar zeer zeker niet vriendelijk) • Wesvar (tegenwoordig gratis, uitgebreid, niet zeer vriendelijk) • STATA, SAS, Sudaan etc etc, ken ik niet, weet ik niet Daan Uitenbroek, Designeffecten

10. Voorbeeld met SISA weights Daan Uitenbroek, Designeffecten

11. Betrouwbaarheidsinterval met SISA Onemean Daan Uitenbroek, Designeffecten

12. Zó doe je het in Epi-Info Je kunt Epi-Info downloaden via: http://www.cdc.gov/epiinfo/ Save je data in SPSS als een DB-IV file neem tenminste de variabelen strata, cluster en een weight variabele mee. Heb je geen strata neem dan compute strata=1, iedere respondent komt van hetzelfde strata. Heb je geen clusters neem dan het respondent nummer, iedere respondent is een eigen cluster. Je kan zoveel afhankelijke variabelen meenemen als je maar wil. Open in EpiInfo het “analysis” menu. Doe options->set-> statistics advanced Importeer je data in EpiInfo analysis als een DB-IV file. EpiInfo neemt de variabelen namen over maar niet de labels. Dus hou goed bij wat variabelen waarden betekenen. Kies een van de drie “complex sample procedures”. Specificeer de afhankelijke variabele, waar je in geïnteresseerd bent. Eventueel de onafhankelijke variabele, bijvoorbeeld bij een kruistabel, hangt van de procedure af Specificeer de strata, de cluster en het gewicht Druk op analyse Daan Uitenbroek, Designeffecten

13. SPSS Complex Samples Advies van de werkgroep Voordelen, een zeer uitgebreid en gebruikersvriendelijk pakket dat betrekkelijk eenvoudig te leren is. Efficient in gebruik. Nadelen, het kost geld, hoe je daarover denkt hangt van jou af Wat ga ik nu doen Wat heb je nodig/moet je weten om het te laten werken Vervolgens ga ik het demonstreren aan de hand van een data set uit de Amsterdamse Gezondheidsmonitor 2004 Daan Uitenbroek, Designeffecten

14. SPSS Complex Samples • Complex Samples maakt niet de gewichten. • Gewichten moet je maken met spreadsheets. • SISA weights (wordt nog verbeterd, tips en suggesties krijg ik graag) • Wat je nodig hebt is: • Een data set met inhoudelijke variabelen (roken, alcohol gebruik, geslacht etc.) • In die data set een (of meerdere) variabelen “weight” • Een of meerdere variabelen “strata” • Een planfile die het design omschrijft • (in epi info is dat een stuk duidelijker, daar heb je één strata en één cluster. Strata betreft alle gefixte design effecten, cluster alle random design effecten) Daan Uitenbroek, Designeffecten

15. Wat kan je doen: Uit je GGD regio neem je alle gemeenten In iedere gemeente sample je 3 scholen Dan neem je in iedere school alle klassen En vervolgens sample je drie leerlingen per klas Wat gaan we nu doen: Een demonstatie van Complex Samples voor het eenvoudigste design: 1 strata 1 set gewichten Meestal het design dat wordt gebruikt bij Gezondheids Enquêtes SPSS Complex Samples het kan waarachtig complex Daan Uitenbroek, Designeffecten

16. SPSS Complex Samples gewichten voor het één strata voorbeeld 1 strata over 2 dimensies, een met 2 categorien en een met 3 categorien Daan Uitenbroek, Designeffecten

17. Voorbeeld Gezondheidsprofiel Groningen, 2002: In de leeftijd 20-64 1% in 21 gemeenten en 2% in 4 gemeenten; in de leeftijd 65+ 2% in 22 gemeenten, 4% in 2 gemeenten en 5% in 1 gemeente. Voorbeeld Rotterdam 2008, …… uitspraken doen over de groep Kaapverdianen en Antillianen in Rotterdam zijn ……. …… het ClusterJeugden op verzoek van deelgemeente Hoek van Holland een relatief kleine …… …… 16 tot en met 54 jaar en 55 jaar en ouder is in Hoek van Holland een steekproef van 200 …… …… deelraadPernis is voor Pernis een aparte steekproef getrokken van 200 personen …… …… In 2008 is ervoor gekozen om de steekproef voor Rotterdam per buurt op te hogen …… …… een steekproef van 100 19 tot en met 54 jarigen getrokken.…… …… Van alle 55-plusser is een steekproef van 3000 getrokken…… SPSS Complex Samples één strata, soms moeilijk Daan Uitenbroek, Designeffecten

18. SPSS Complex Samples bron van gewichten hoeft te zijn Daan Uitenbroek, Designeffecten

19. SPSS Complex Samplesmoet bvk. wel uitsluitend en uniek zijn Daan Uitenbroek, Designeffecten

20. SPSS Complex Samples dan heb je een strata variabele nodig Een variabele met hele nummers, labels zogezegd, van 1, 2, 3. Meestal laat je de strata en gewichten overlappen Je kunt meer strata hebben dan gewichten Meestal niet minder if ((geslacht=1) and (lft=1) and (etn=1)) strata= 1. if ((geslacht=1) and (lft=1) and (etn=2)) strata= 2. if ((geslacht=1) and (lft=2) and (etn=1)) strata= 3. if ((geslacht=1) and (lft=2) and (etn=2)) strata= 4. Enz. Daan Uitenbroek, Designeffecten

21. SPSS Complex Samples de weeg syntax ziet er dan zo uit De gewicht syntax voor SPSS complex samles ziet er dan zo uit, Het zijn de grote gewichten Wi, die aangeven hoeveel respondenten een gewicht representeerd, dus decimale getallen altijd groter dan 1. if ((geslacht=1) and (lftcat=1)) strata=210,3. if ((geslacht=1) and (lftcat=2)) strata=45,8. if ((geslacht=2) and (lftcat=1)) strata=136,4. if ((geslacht=2) and (lftcat=2)) strata=121,5. Daan Uitenbroek, Designeffecten

22. SPSS Complex Samples vervolgens heb je een plan file nodig CSPLAN ANALYSIS /PLAN FILE='M:\data\aa\nieuwplan.csaplan' /PLANVARS ANALYSISWEIGHT=weight2 /SRSESTIMATOR TYPE=WR /PRINT PLAN /DESIGN STRATA= strata /ESTIMATOR TYPE=WR. Daan Uitenbroek, Designeffecten

23. SPSS Complex Samplesplan file kan je maken in SPSS Daan Uitenbroek, Designeffecten

24. SPSS Complex Samplesdan je analyse in complex samples CSTABULATE /PLAN FILE = 'M:\data\aa\nieuwplan.csaplan' /TABLES VARIABLES = rook1 /CELLS POPSIZE TABLEPCT /STATISTICS SE CIN(95) COUNT DEFF DEFFSQRT /MISSING SCOPE = TABLE CLASSMISSING = EXCLUDE. Daan Uitenbroek, Designeffecten

25. SPSS Complex SamplesResultaat, rechte telling Daan Uitenbroek, Designeffecten

26. SPSS Complex Samplesen dan een kruistabel * Complex Samples Crosstabs. CSTABULATE /PLAN FILE = 'M:\data\a\ggd.csaplan' /TABLES VARIABLES = BMI BY sf01 /CELLS POPSIZE ROWPCT COLPCT /STATISTICS SE CIN(95) COUNT DEFF DEFFSQRT /TEST ODDSRATIO RELRISK INDEPENDENCE /MISSING SCOPE = TABLE CLASSMISSING = EXCLUDE. Daan Uitenbroek, Designeffecten

27. SPSS Complex Sampleszo een kruistabel syntax maak je ook in SPSS Daan Uitenbroek, Designeffecten

28. Kruistabel in Complex Samples Daan Uitenbroek, Designeffecten

29. Tests of Independence Statistisch testen Kruistabel Measures of Association The adjusted F is a variant of the second-order Rao-Scott adjusted chi-square statistic. Significance is based on the adjusted F and its degrees of freedom. Statistics are computed only for 2-by-2 tables with all cells observed. Daan Uitenbroek, Designeffecten

30. SPSS Complex Sampleseen efficient programma Daan Uitenbroek, Designeffecten

31. Als je gaat wegen krijg je design effecten, de betrouwbaarheid van je studie wordt minder Je krijgt bredere betrouwbaarheidsintervallen Verschillen zijn minder snel significant Voor een gemiddelde is het nog wel op de hand te doen Voor alle andere statistieken adviseren wij een gespecialiseerd programma De werkgroep wegen adviseerd SPSS Complex Samples Dit programma maakt niet de gewichten, gebruik een spreadsheet Het is goed te gebruiken voor een betrouwbaarheidsinterval of een vergelijking tussen twee groepen, bij een omvangrijke analyse, zeker efficient. Er zijn goede mogelijkheden voor complexere designs(/EMOVO) En multivariate statistiek (bijv Logistische regressie) Samenvattingwegen en design effecten in gezondheidsenquêtes Daan Uitenbroek, Designeffecten