Evidence-Based Practice

1. Evidence-Based Practice Lunchbijeenkomst 14 maart 2013

3. Post Grad (E)MBA Business Schools HBO Universiteit

4. Aanleiding Wat moet een student in de praktijk straks kunnen: - zelf onderzoek doen? - onderzoek kunnen beoordelen + toepassen? Wat betekent dat voor het curriculum? Wat betekent dat voor de accreditatie?

5. HBO standaard (2009) “In onze moderne samenleving is het cruciaal dat hbo-bachelors over een onderzoekend vermogen beschikken dat leidt tot reflectie, tot evidence-based practice, en tot innovatie.”

6. Evidence-Based Practice ?

7. Wat is het? • Waarkomt het vandaan? • Hoe ziet het eruit in eenopleiding? • Hoe zit datbij 4e jaarsstudenten?

8. Evidence based practice: Wat is het?

9. Evidence-based practice Uitgangspunt bij evidence-based practice is dat beslissingen gebaseerd dienen te zijn op een combinatie van wetenschappelijk denken en de best beschikbare 'evidence'.

10. Evidence based practice Met het begrip 'evidence' wordt niet meer bedoeld dan 'informatie'. Dit kan informatie zijn afkomstig uit wetenschappelijk onderzoek, maar ook interne bedrijfsinformatie en zelfs persoonlijke ervaring geldt als 'evidence’.

11. Evidence based practice In principe neemt iedere manager dus beslissingen op basis van 'evidence'. De meeste managers besteden echter nauwelijks aandacht aan de kwaliteit van de 'evidence' waarop ze hun beslissingen baseren.

12. Evidence-based practice: • kritisch en wetenschappelijk denken • van verschillende informatiebronnen gebruik maken • de beschikbare evidence kritisch tegen het licht houden • denken in termen van waarschijnlijkheid in plaats van 'golden bullets'.

13. Evidence based practice Best available organizational evidence Best available scientific evidence Evidence-based decision Professional expertise andjudgement Stakeholders’ values and concerns

14. Evidence based practice: Waarkomt het vandaan?

15. What field is this? • “there is a large research-user gap” • “practitioners do not read academic journals” • “the findings of research into what is an effective intervention are not being translated into actual practice” • “academics not practitioners are driving the research agenda” • “the relevance, quality and applicability of research is questionable” • “practice is being driven more by fads and fashions than research” • “many practices are doing more harm than good”

16. Medicine: Founding fathers David Sackett Gordon Guyatt McMaster University Medical School, Canada

17. How it all started

18. Problem I: persistent convictions if you’re hyperventilating breathe into a bag

19. Problem I: persistent convictions elderly people who have an irregular heartbeat are much more likely to die of coronary disease give them a drug that reduces the number of irregular beats

20. How 40,000 cardiologists can be wrong In the early1980s newly introduced anti-arrhythmic drugs were found to behighly successful at suppressing arrhythmias. Notuntil a RCT was performed was it realized that, althoughthese drugs suppressed arrhythmias, they actually increasedmortality. By the time the results of this trial were published, at least100,000 such patients had been taking these drugs.

21. David Sackett • Half of what you learn in medical school will be shown to be either dead wrong or out-of-date within 5 years of your graduation; the trouble is that nobody can tell you which half. • The most important thing to learn is how to learn on your own: search for the evidence! • (Remember that your teachers are as full of bullshit as your parents)

22. Problem II: too much information • More than 1 million articles in 40,000 medical journals per year (= 1995; now probably more than 2 million). For a specialist to keep up this means reading 25 articles every day (for a GP more than 100!)

23. Problem II: too much information • HRM: 1,350 articles in 2010 (ABI/INFORM). For an HR manager to keep up this means reading 3 to 4 articles every day (for a ‘general’ manager more than 50!) BTW: most of the research is seriously flawed or irrelevant for practice

24. The 5 steps EBP • Formulate a focused question (Ask) • Search for the best available evidence (Acquire) • Critically appraise the evidence (Appraise) • Integrate the evidence with your professional expertise and apply (Apply) • Monitor the outcome (Assess) Zelfonderzoekdoen?

25. Evidence-Based Practice 1991Medicine 1998Education 1999Social care, public policy 2000Nursing 2000Criminal justice ????Management?

26. Evidence based practice: Hoe ziet het eruit in de opleiding?

27. Evidence-based practice Fase 1: Het ontwikkelen van kritisch en wetenschappelijk denken dat leidt tot een professioneel-kritische attitude met betrekking tot organisatievraagstukken Fase 2: Het kunnen formuleren van een expliciete vraag en op basis van deze vraag kunnen zoeken in online databases naar uitkomst van relevant wetenschappelijk onderzoek. Fase 3: Het kritisch kunnen beoordelen van wetenschappelijke en organizational evidence (criticalappraisal) Fase 4: Uitkomst van wetenschappelijk onderzoek kunnen toepassen in de eigen beroepspraktijk (application of science)

28. Evidence based practice Best available organizational evidence Best available scientific evidence Evidence-based decision Professional expertise andjudgment Stakeholders’ values and concerns

29. Waarom(wetenschappelijk) onderzoek?

30. Trust me, 20 years of experience

31. Bounded rationality

32. Richard Feynman “The first principle is thatyou must not fool yourself - andyou are the easiest person to fool”.

33. Bounded rationality

34. Het feilbarebrein • System 1 • Snel, actie • Intuitief, associatief • shortcuts & biasses • System 2 • Langzaam (lui!) • Rationeel • Nadenken

35. Systeem 1

36. Systeem 1: het feilbarebrein • Seeing order in randomness • Mental corner cutting • Misinterpretation of incomplete data • Halo effect • False consensus effect • Group think • Self serving bias • Sunk cost fallacy • Cognitive dissonance reduction • Confirmation bias • Authority bias • Small numbers fallacy • In-group bias • Recall bias • Anchoring bias • Inaccurate covariation detection • Distortions due to plausibility

37. Waaromonderzoek? • Het feilbarebrein • Meningen • Assumpties (aannames) • Overtuigingen • Persoonlijkeervaringen BIAS • Wetenschappelijkonderzoek • Feiten • Evidence: bewijs / aanwijzingen

38. Fase 1: Kritisch & wetenschappelijkdenken Denkfouten Informatiebronnen Mythbusting Assumpties

39. 7 Denkfouten(die u beteraananderenkuntoverlaten) Seeing order in randomness Confirmation bias Small numbers fallacy Outcome bias Halo effect Authority bias Group think

40. Seeing order in randomness • EenType I foutof eenvalspositief:denkendatereenpatroon / verband is terwijldater in het echtniet is. • EenType II foutof eenvalsnegatief:denkendatergeenpatroon / verband is terwijldater in het echtwel is Dr. Michael Shermer (Director of the Skeptics Society)

41. Het feilbarebrein: patern recognition • EenType I foutof eenvalspositief: denkendat het geritsel in de bosjeseengevaarlijkroofdier is, terwijl het gewoon de wind is (goedkoopfoutje)

42. Het feilbarebrein: patern recognition • EenType II foutof eenvalsnegatief: denkendat het geritsel in de bosjesgewoon de wind is, terwijl het eengevaarlijkroofdier is (duurfoutje)

43. Het feilbarebrein: patern recognition Het probleem met patroonherkenning: Het kritischbeoordelen of ersprake is van een Type I of een Type II fout is best moeilijk, (vooral in ‘split second life and death’ situaties), dus de default positie is omaantenemendatallepatronenechtzijn.

44. Het feilbarebrein: patern recognition • EenType I foutof eenvalspositief: denkendat het geritsel in de bosjeseengevaarlijkroofdier is, terwijl het gewoon de wind is (goedkoopfoutje) DEFAULT • EenType II foutof eenvalsnegatief: denkendat het geritsel in de bosjesgewoon de wind is, terwijl het eengevaarlijkroofdier is (duurfoutje)

45. Het feilbarebrein: patern recognition Ookervarenmensen en experts zienpatronen en verbandenwaarzenietzijn. stress & lifestyle peptic ulcer

46. Oct 2005 Peptic ulcer – an infectious disease! This year's Nobel Prize in Physiology or Medicine goes to Barry Marshall and Robin Warren, who with tenacity and a prepared mind challenged prevailing dogmas. By using technologies generally available (fibre endoscopy, silver staining of histological sections and culture techniques for microaerophilic bacteria), they made an irrefutable case that the bacterium Helicobacter pylori is causing disease. By culturing the bacteria they made them amenable to scientific study. In 1982, when this bacterium was discovered by Marshall and Warren, stress and lifestyle were considered the major causes of peptic ulcer disease. It is now firmly established that Helicobacter pylori causes more then 90% of duodenal ulcers. The link between Helicobacter pylori infection and peptic ulcer disease has been established through studies of human volunteers, antibiotic treatment studies and epidemiological studies.

47. Het feilbarebrein: patern recognition • Ook slimme mensen houden er verkeerde ideeën op na, niet omdat ze dom of eigenwijs zijn, maar omdat het de meest logische conclusie is op basis van hun eigen ervaringen. (systeem 1 doetaltijdmee!)

48. Evidence-based practice Fase 1: Het ontwikkelen van kritisch en wetenschappelijk denken dat leidt tot een professioneel-kritische attitude met betrekking tot organisatievraagstukken Fase 2: Het kunnen formuleren van een expliciete vraag en op basis van deze vraag kunnen zoeken in online databases naar uitkomst van relevant wetenschappelijk onderzoek. Fase 3: Het kritisch kunnen beoordelen van wetenschappelijke en organizational evidence (criticalappraisal) Fase 4: Uitkomst van wetenschappelijk onderzoek kunnen toepassen in de eigen beroepspraktijk (application of science)

50. 5-step approach EBMgt is a 5-step approach Formulate an answerable question (PICOC) Search for the best available evidence Critically appraise the quality of the found evidence Integrate the evidence with managerial expertise and organizational concerns and apply Monitor and evaluate the results