De Campbell collaboration en systematic reviews

1. De Campbell collaboration en systematic reviews Monika Smit WODC 27 november 2012

2. Waar ga ik het over hebben? • Liever geen ‘cherry picking’ …. • Campbell collaboration • De systematic review (sr) werkwijze • Verschillen met ‘narrative reviews’ • Een sr over mensenhandel • Conclusies

3. Het probleem van cherry picking Er is vaak zo veel (qua mogelijk relevante disciplines, onderzochte onderwerpen en publicaties daarover) Uitkomsten zijn lang niet altijd eenduidig Hoe vind je daarin je weg? Wat gebruik je wel en wat niet? (Hoe) kan je de informatie op waarde schatten? 3

4. De Campbell Collaboration • Internationale organisatie gericht op voorbereiden, updaten en dissemineren van systematic reviews over effectiviteit van interventies • Geinspireerd door Cochrane Collaboration (gezondheidszorg) • Genoemd naar Donald Campbell • Start: 2000 • Gebieden: crime & justice, education, social welfare/social work • Reviews worden gebruikt om ‘evidence-based‘ beleid en praktijk te promoten en te ondersteunen

5. Aanpak van systematic reviews a la Campbell • Expliciete doelen • Gedetailleerde info over bronnen en zoekstrategie • Alle relevante studies, gepubliceerd en ongepubliceerd • Studies in meerdere talen • Expliciete criteria voor wel/niet meenemen studies • Richten op compleet zijn maar focussen op kwalitatief goede studies

6. Aanpak (vervolg) • Waar mogelijk gebruik van kwantitatieve technieken (meta-analyses) bij analyseren van resultaten • Gestructureerd en expliciet rapporteren van alle beslissingen en conclusies • Streng review proces vanuit Campbell • Open access: reviews digitaal beschikbaar • Geregeld updates

7. Zoekstrategieëen • Brede search van on-line databases • Gebruik van trefwoorden • Gebruik van eerdere reviews • Gebruik van bibliografieën bij gevonden rapporten • Contacten met ‘leading researchers’ • Doornemen van tijdschriften

8. Vermelde kenmerken van studies • Onderzoekers • Locatie van onderzoek • Volledige referenties van gebruikte rapporten • Financiering/mogelijke conflicterende belangen • Onderzoeksdesign • Kenmerken experimentele groep • Sample grootte: aanvankelijk en uiteindelijk (attritie?) • Hypotheses en interventies • Details over de implementatie van de interventie

9. Vermelde kenmerken: vervolg • Programma leveranciers • Beschrijving controle condities • Definitie en meting van variabelen • Follow-up periode na interventie • Voor- en nametingen • Belangrijkste resultaten • Statistische informatie: effect groottes, betrouwbaarheidsintervallen, statistische significantie • Methodologische kwaliteit • Belangrijkste probleem: gebrek aan info in rapporten

10. Verschil met ‘narrative reviews’ • Waarschijnlijk biased • Weinig of geen details over methodes gebruikt om literatuur te zoeken • Weinig informatie over waarom studies wel of niet zijn meegenomen • Vooral puttend uit gemakkelijk beschikbare artikelen en boeken (meest in het Engels) • Vaak eenmalige exercitie die snel achterhaald is • Onvoldoende info om resultaten en conclusie te kunnen repliceren of controleren 10

11. Voorbeelden van gepubliceerde (Campbell) systematic reviews • Hot Spots policing (2007) • Improved street lighting (2008) • Early family/parent training programs (2008) • Cross-Border Trafficking in Human Beings: Prevention and Intervention Strategies for Reducing Sexual Exploitation (2011) • Interview and interrogation methods and their effects on true and false confessions (2012) • The effects of women’s self-help group programs on women’s empowerment (2012) http://www.campbellcollaboration.org/crime_and_justice

12. Systematic Review grensoverschrijdende mensenhandel: preventie en interventies gericht op het terugdringen van uitbuiting in de seksindustrie Monika Smit (WODC) Peter van der Laan (NSCR) Pauline Aarten (NSCR) Inge Busschers (NSCR) Financiele ondersteuning: Campbell Noorwegen

13. Mensenhandel Werving, transport of onderbrengen van personen Gebruikmakend van middelen als misleiding, dwang of misbruik van eigen machtspositie of andermans kwetsbare positie Met het oogmerk van uitbuiting UN Anti-Trafficking Protocol (2000)

15. Waarom een systematic review over mensenhandel? Groeiende aandacht voor fenomeen mensenhandel Ernst van het misdrijf Vele anti-mensenhandel initiatieven en vele publicaties Wat werkt wel en wat niet?

16. Centrale vragen Welke interventies gaan vergezeld van empirisch onderzoek? Welke onderzoeken zodanig rigoreus opgezet dat ze iets zeggen over het effect van de interventies? Wat zijn de resultaten uit deze studies?

17. Inclusie criteria Evaluaties van beleid en interventies gericht op voorkoming of bestrijding van grensoverschrijdende mensenhandel met het oogmerk van uitbuiting in de seksindustrie Interventies gericht op individuele daders en criminele groepen, of (potentiële) slachtoffers Studies waarin wordt gerapporteerd over de effectiviteit van initiatieven, ondersteund met empirische data

18. Zoekstrategie Databases Professionele contacten Bibliotheek van de Nationaal Rapporteur Mensehandel Websites Referenties in artikelen, boeken, rapporten, en papers

19. Voorts Gepubliceerd en ongepubliceerd materiaal Vanaf 2000 tot medio 2009 Wereldwijd Talen: Deens, Duits, Engels, Frans, Italiaans, Nederlands, Noors, Spaans en Zweeds

20. Wat kwamen we tegen? Veel aandacht voor mensenhandel: internationale verdragen, nationale wetgeving, mondiale initiatieven, nationale actieplannen in veel landen, veel betrokken actoren, veel publicaties, veel interventies Bezorgdheid: systematic review past niet bij onderzoek op dit terrein Interesse in de review, bereidheid tot bijdragen

21. Maar …… Vooral wetgeving, actieplannen en beschrijvingen van interventies Voor zover ‘evaluatie’ veelal ervaringen van deelnemers of aanbieders van interventies Meeste bevatten geen empirische data laat staan info over effectgroottes Sommige gaan over gerelateerde onderwerpen zoals geweld tegen vrouwen of kindersextoerisme

23. Resultaten 20 studies leken bruikbaar voor de review Maar: waren toch geen evaluaties, gingen niet over effecten, betroffen mensenhandel iha, of geen grensoverschrijdende mensenhandel Geen enkele studie met voor- en nameting en controlegroep Over effecten weten we dus eigenlijk niets

24. Resultaten Diversiteit aan doelen: ‘awareness raising, vergroten kansen op arbeidsmarkt, attitudeverandering, verbetering samenwerking in opsporing en vervolging Diversiteit doelgroep: slachtoffers, daders, handhavers, wetgevers, ‘de samenleving’, ‘Johns’ Initiatief komt van: overheden, internationale organisaties, ngo’s Vaak link met andere beleidsdoelen zoals uitbannen van prostitutie en strijd tegen illegale migratie

25. Resultaten (vervolg) • Toename van evaluatieonderzoek • Geen onderzoek met voor- en nametingen en controlegroepen • Resultaten worden vaak gerapporteerd als betrouwbaar en valide ondanks methodologische tekortkomingen • Zelden aandacht voor lange termijneffecten

26. Conclusies nav deze sr Geen info over effecten Empirisch evaluatieonderzoek ontbreekt Typisch voorbeeld van blindelings implementeren van beleid Toch frequent nieuwe anti-mensenhandelinterventies. Risico: geldverspilling en ‘collateral damage’ Geldschieters zouden (deugdelijke) evaluatie een voorwaarde moeten maken bij het financieren van projecten

27. Conclusies • Systematic reviews hebben grote voordelen (beperkte tijd, gebruik maken van wat er is, niet ‘misleid’ worden door resultaten die weinig empirische basis hebben) • M.n. van belang als je naar effecten van interventies wilt kijken • Maar zoekstrategie en wijze van verantwoorden zijn van breder belang • Soms ‘lege reviews’: weinig info over effecten, wel over interventies en de hiaten in onderzoek • Boodschap aan u: promoot gebruik van sr’s, wijs onderzoekers op zoek naar literatuur erop, hanteer en promoot zo mogelijk de Campbell wijze van zoeken naar literatuur en verantwoorden van de gevolgde werkwijze