Wirksamkeitsnachweise und empirische Evidenz

1. Wirksamkeitsnachweise und empirische Evidenz

2. Aktuelle Entwicklungen • Professionalisierung, Akademisierung und • Forschung • Wechsel von Institutions- und angebotszentrierten Hilfen hin • zu personenbezogenen und bedarfsorientierten Hilfen • Verkürzung vollstationärer Behandlungsdauern, • verstärkter Kostendruck, Ambulantisierung

3. Beispiel für ein Experiment • Evaluation eines computergestützten neuropsychologischen Trainingsprogrammes (à la CogPack) • Hypothese: Die Durchführung dieses Programmes führt zu einer Steigerung der Aufmerksamkeitsleistung

4. Versuchdesign • Vorher- & Nachher-Messung durch Konzentrationstest: Verbesserung des Ergebnisses?

5. Randomisiertes Kontrollgruppendesign (RCT) • Experimentalgruppe: Treatment (=Behandlungsverfahren) • Kontrollgruppe: gleiche Bedingungen wie EG, aber kein Treatment • Randomisierung: zufällige Zuteilung der Versuchspersonen zu einer der beiden Gruppen, damit die Gruppen sich vor Beginn des Treatments möglichst ähnlich sind

6. Bsp.: Medikamentenstudien • Teilnehmer einer Kontrollgruppe: Plazebo. • Interventionsgruppe: Verum • Ist zum Zeitpunkt der Untersuchung weder den Untersuchern noch den Patienten bekannt, ob sie das Medikament mit dem zu untersuchenden Wirkstoff (Verum) oder das (äußerlich gleiche) Plazebo erhalten, spricht man von einer sog. Doppel-Blind-Studie. • Im Bereich der Ergotherapie sind Doppel-Blind-Studie kaum vorstellbar, da hier eine Therapieteilnahme und deren Selbstwahrnehmung nicht trennbar ist.

7. Operationalisierung der abhängigen Variablen • Auswahl geeigneter Testverfahren zur Erfassung des Erfolgskritertums (=AV) • Gütekriterien: • Objektivität • Reliabilität • Validität

8. Kontrollgruppenplan mit Messwiederholung

9. Rohwertematrix

10. Ergebnis

11. Die Standard-Normalverteilung und unterschiedliche Normskalen:

12. Anzahl „Wappen“ 1. 2. 3. 4. 5. Summe: W W W W W 5 Z W W W W 4 W Z W W W 4 Z Z W W W 3 W W Z W W 4 Z W Z W W 3 W Z Z W W 3 Z Z Z W W 2 W W W Z W 4 Z W W Z W 3 W Z W Z W 3 Z Z W Z W 2 W W Z Z W 3 Z W Z Z W 2 W Z Z Z W 2 Z Z Z Z W 1 W W W W Z 4 Z W W W Z 3 W Z W W Z 3 Z Z W W Z 2 W W Z W Z 3 Z W Z W Z 2 W Z Z W Z 2 Z Z Z W Z 1 W W W Z Z 3 Z W W Z Z 2 W Z W Z Z 2 Z Z W Z Z 1 W W Z Z Z 2 Z W Z Z Z 1 W Z Z Z Z 1 Z Z Z Z Z 0 4 Wappengibt’s 5 mal 5 / 32 = 15,63 % 5 Wappengibt’s 1 mal 1 / 32 = 3,13 %

14. Statistische Tests • Abhängig vom Versuchdesign gibt es verschiedene Tests, die die Signifikanz von Mittelwertsunterschieden überprüfen, z.B.: • Mittelwertsunterschiede zwischen 2 Gruppen • für Korrelationskoeffizienten

15. Varianzanalytische Verfahren • Angewandt z. B. bei • mehrfaktoriellen Versuchsplänen: • Faktor 1: Treatment vs. kein Treatment • Faktor 2: Zeitpunkt der Messung: vorher vs. Nachher

16. Auswertung • Sind die Unterschiede zwischen den Gruppen zufällig oder statistisch signifikant? • Signifikanzniveau: bei 5% oder 1% • gibt die Irrtumswahrscheinlichkeit dafür wieder, dass ein Unterschied gefunden wird, obwohl die Gruppen sich in Wahrheit nicht unterscheiden

17. Ergebnis (N= 10)

18. Diskussion • Interpretation des Ergebnisses: • das Treatment ist unwirksam • es traten Störvariablen auf, die den Effekt des Treatments verzerrten (Bsp.: Baulärm während der 2. Bearbeitung des Tests in der Treatmentgruppe)

19. Zu berücksichtigende Aspekte bei der Durchführung empirischer Studien in der Ergotherapie (1)(ohne Anspruch auf Vollständigkeit) • Art der Intervention: In der Ergotherapie gibt es eine Vielzahl von Ansätzen. Man muss sich entscheiden, welchen spezifischen Ansatz (möglichst in manualisierter Form) man untersuchen möchte. • Dauer der Intervention; Setting ambulant / stationär; Zielgruppe: Ausgehend von der vorwissenschaftlichen Einschätzung, ab welcher Zeitdauer, unter welchem Setting und bei welcher Zielgruppe nachweisbare Effekte einer Intervention zu erwarten sind, muss – unter Berücksichtigung der Machbarkeit – die Interventionsdauer, die Zielgruppe und das Setting ambulant / stationär gewählt werden. • Kontrollgruppenproblematik: Hier stellt sich vor allem die Frage welche „non-arbeitstherapeutische“ Betätigungsform in der Kontrollgruppe gewählt werden und wie dies praktisch umgesetzt werden soll.

20. Zu berücksichtigende Aspekte bei der Durchführung empirischer Studien in der Ergotherapie (2)(ohne Anspruch auf Vollständigkeit) • Outcomekriterien: Ausgehend von der vorwissenschaftlichen Einschätzung, worin sich der Effekt von Arbeitstherapie und arbeitsrehabilitativer Intervention zeigt, muss man sich entscheiden, anhand welcher Kriterien (z.B. Arbeitsfähigkeit, Beschäftigungsquote, Arbeitszufriedenheit etc.) man das Ergebnis der Arbeitstherapie erfassen möchte. • Statistische Erwägungen: Die Stichprobengröße, die Art der Datenerhebung, die Erhebungsinstrumente und die statistischen Verfahren zur Verarbeitung der numerischen Daten müssen so gewählt werden, dass Effekte, falls vorhanden, auch nachweisbar sind. • Ethische Aspekte: Die Teilnehmer der Untersuchung müssen über die Untersuchung aufgeklärt und müssen mit der Teilnahme einverstanden sein einschl. der Tatsache ggf. randomisiert einer Gruppe zugewiesen zu werden und für den Fall einer Kontrollgruppenzuweisung ggf. gar keine Arbeitstherapie oder arbeitsrehabilitative Intervention zu erhalten. Die Einhaltung dieser und weiterer Voraussetzung muss gegenüber der zuständigen Ethik-Kommission erklärt und sichergestellt werden.

21. Zu berücksichtigende Aspekte bei der Durchführung empirischer Studien in der Ergotherapie (3)(ohne Anspruch auf Vollständigkeit)

22. Zu berücksichtigende Aspekte bei der Durchführung empirischer Studien in der Ergotherapie (4)(ohne Anspruch auf Vollständigkeit)

23. Zu berücksichtigende Aspekte bei der Durchführung empirischer Studien in der Ergotherapie (6)(ohne Anspruch auf Vollständigkeit)

24. Evidenzbasierung (1) Stellen Sie sich eine Kollegin / einen Kollegen vor, die/den Sie fragen, warum sie/er eine bestimmte ergotherapeutische Vorgehensweise in einem bestimmten Fall gewählt hat. Mögliche Antworten auf die Frage wären etwa….

25. Evidenzbasierung (2) • …weil ich das in unserer Einrichtung schon immer so gemacht wird • …weil ich mehrfach die Erfahrung gemacht habe, dass diese Vorgehensweise in solchen Fällen wirksam ist. • …weil ich von anderen Kollegen erfahren und/oder auch Fallbeispiele gelesen habe, wo diese Vorgehensweise in einer Vielzahl solcher Fällen wirksam war. • …weil ich eine systematische Studie kenne, in der diese Vorgehensweise in solchen Fällen untersucht wurde und sich als wirksam heraus stellte. • …weil ich eine weil ich randomisierte Kontrollgruppenstudie kenne in der diese Vorgehensweise in solchen Fällen untersucht wurde und sich als wirksam heraus stellte. • …weil ich eine Übersichtsstudie aus mehreren randomisierten Kontrollgruppen-studien kenne in der diese Vorgehensweise in solchen Fällen untersucht wurde und sich als wirksam heraus stellte

26. Evidenzbasierung (3) • „Evidenz“ im Rahmen der sog. Evidenzbasierten Medizin (EBM) leitet sich vom englischen Wort „evidence“ = Nachweis / Beweis ab und bezieht sich auf Informationen aus wissenschaftlichen Studien, die einen Sachverhalt erhärten oder widerlegen. • Studien, die den Kriterien einer randomisierten Kontrollgruppenuntersuchung entsprechen haben hierbei eine besonders hohe Nachweiskraft – gegenüber praktischer Erfahrung oder deskriptiven Falldarstellungen. • Überträgt man den Gedanken der EBM auf die Ergotherapie würde man nicht von „Medizin“ sondern von evindez-basierter „Praxis“ sprechen. Der Grundgedanke einer evidence based Practice (EBP) innerhalb der Ergotherapie wurde von Jerosch-Herold (2000) behandelt.

27. Medizinische Leitlinien • Deren Hauptzweck ist die Darstellung des fachlichen Entwicklungsstandes zu einer bestimmten medizinischen Thematik (z.B. Therapie oder Krankheitsbild). • Medizinische Leitlinien sollen Ärzten und Therapeuten Orientierung im Sinne von Entscheidungs- und Handlungskorridoren geben, von denen jedoch in begründeten Fällen abgewichen werden kann oder sogar muss. • In Deutschland werden Leitlinien von der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF; http://leitlinien.net) in 3 Entwicklungsstufen von S1 bis S3 klassifiziert • S3 ist die höchst entwickelte Stufe • Grundlage für diese Qualitätsbeurteilung ist wiederum Evidenz im o.g. Sinn der EBM/EBP. Die unterste Stufe (S1) entspricht einem von einer Expertengruppe erarbeiteten informellen Konsens (Expertenmeinung); bei den höheren Stufen muss das vorhandene Wissen nach den o.g. Evidenz-Kriterien zusammengefasst sein.

28. Werden ergotherapeutische Ansätze im Rahmen medizinischer Leitlinien empfohlen? • Um diese Frage einmal beispielhaft zu prüfen, eignet sich z.B. das Krankheitsbild der Schizophrenie, für das seit 2005 eine S3-Leitlinie vorliegt (Deutsche Gesellschaft für Psychiatrie, Psychotherapie und Nervenheilkunde DGPPN (Hrsg.) 2005). • In dieser Leitlinie wird Ergotherapie an mehreren Stellen empfohlen, allerdings mit nur geringer Empfehlungsstärke. Die geringe Empfehlungsstärke hängt mit den (noch) fehlenden empirischen Wirksamkeitsnachweisen zusammen. • An anderer Stelle der gleichen Leitlinie werden zur beruflichen Rehabilitation bei schizophrenen Menschen, die arbeiten möchten, Programme mit einer raschen Beschäftigungsförderung direkt auf einem Arbeitsplatz und unterstützendem Training empfohlen…und zwar mit der höchsten Empfehlungsstärke. • Hier wird Bezug genommen auf im amerikanischen Sprachraum vorhandene Programme des sog. Supported Employment (s.u.) für die Wirksamkeitsnachweise in mehreren RCTs vorliegen und die u. a. auch im Rahmen eines Cochrane Reviews (Crowther et. al. 2001) zusammenfasst wurden.

29. Was nun, wenn ergotherapeutische Ansätze nicht empfohlen werden? • Dies hätte wohl absehbar zur Folge, dass künftig Ärzte, die Leitlinien getreu arbeiten, dies im Regelfall entsprechend weniger verordnen. • Andererseits: Um mit einer hohen Empfehlungsstärke empfohlen zu werden, muss erst ´mal eine entsprechende empirische Evidenz für den Therapieansatz vorliegen. • Auch dieser Aspekt führt letztlich zu der Notwendigkeit, im Arbeitsfeld der Arbeitstherapie und Arbeitsrehabilitation zu forschen.

30. Bisherige Evaluationsstudien - supported employment - Aus: Bond, G.R. (2004)). Supportded Employment: Evidence for an evidence-based Practice. Psychiatric Rehabilitation Journal, 27,345-359

31. SUPPORTED EMPLOYMENT FIDELITY SCALE

32. SUPPORTED EMPLOYMENT FIDELITY SCALE

33. Thomas Reuster: Zur Effektivität der Ergotherapie im psychiatrischen Krankenhaus (2006) • Randomisierte Kontrollgruppenstudie (n= 262) • Verumgruppe: übliches Ergotherapieangebot (N = 139) • Kontrollgruppe: Gruppe von Patienten, die sich selbst • beschäftigten; Materialien vonPflegepersonal (N = 123) • Zielkriterien: • Angst über State-Trait- Angstinventar (STAE-G) (Laux et al 1980). • Selbsteinschätzung der eigenen Kommunikationsfähigkeit (Unterskala, der SSF-Skala zur Messung des Selbstbildes sozialer Funktionspotenzen, Schröder 1985). • Bereiche gestörten Erlebens und Verhalten (Kieler änderungssensitive Symptomliste, KASSL, Zielke 1979) • Hoffnungslosigkeit über die H-SA-Skala (Krampen 1994) • Psychopathologieskalen (BRMES (Bech-Raphaelsen-Melancholieskala), BRMAS, BPRS)

34. Thomas Reuster: Zur Effektivität der Ergotherapie im psychiatrischen Krankenhaus (2006) Ergebnisse Gesamtstichprobe: In keinem der Zielkriterien signifikante Überlegenheit der Verumgruppe Teilung der Gesamtstichprobe nach Diagnosen: Subgruppe der depressiven Patienten in 2 Bereichen leichte Verbesserungen gegenüber der Kontrollgruppe • Subgruppe der depressiven Patienten (N = 114): • State-Angst, gemessen mit dem State-Trait-Angstinventar: • Leichte Verbesserung zu Gunsten der Verumgruppe (P = 0,048) • Depressivität, gemessen mit der BRME (Bech-Raphaelsen-Melancholieskala): • etwas deutlichere Verbesserung zugunsten der Verumgruppe gefunden (P=0,03)

35. Aus: Bortz, J., & Döring, N. (2002). Forschungsmethoden und Evaluation. 3. Auflage. Berlin Heidelberg New-York: Springer

36. Graff M.: Community based occupational therapy for patients with dementia and their care givers: randomized controlled trial. BMJ 2006 (published online 17 November 2006) Frage: Welche Wirkung hat eine ergotherapeutische Behandlung auf die Funktionalität von dementen Patienten und die Selbstkompetenz in der Betreuungsfunktion für Angehörige? Einschlusskriterien: • Patienten mit leichter bis mässiger Demenz (Alter ≥ 65 Jahre), die zu Hause lebten (Diagnosestellung nach DSM IV Kriterien; Schweregrad: Brief Cognitive Rating Scale: 9 - 40 Punkte). • Betreuende Angehörige Studiendesign: Randomisierte, kontrollierte Studie N = 135 Studienort: Nimwegen, Niederlande (universitäre Memory-Klinik und Tagesklinik); Studieneinschluss: April 2001 bis Januar 2005 Intervention: Interventionsgruppe: 18 Stunden für die Ergotherapie zu Hause pro Patient/Angehörigen-Paar in 5 Wochen, Ergotherapeuten wurden im Umfang von 80 Stunden in Leitlinien-gestützter Demenz-Ergotherapie geschult. Inhalte: Standortbestimmung hinsichtlich noch möglicher Aktivitäten des täglichen Lebens; Vorschläge zur Veränderung des Wohnumfelds; Zielvereinbarungen; Anleitung zur Optimierung von Kompensationsstrategien Angehörige: Problemlösungstechniken, besserer Umgang mit der Belastung. • Kontrollgruppe: Kein Gruppenprogramm

37. Graff M.: Community based occupational therapy for patients with dementia and their care givers: randomized controlled trial. BMJ 2006 (published online 17 November 2006) • Outcome: • • Primäres Outcome für Patienten: Funktionalität bei Aktivitäten des täglichen Lebens • (Skalen AMPD u. IDDD) • Outcome für Angehörige: Selbstkompetenz in der Betreuungsfunktion (SCQ Skala) • Verblindung bei den Outcome-Assessoren • Follow-up: • 6 Wochen; 12 Wochen • Resultat: • • In der Interventionsgruppe liessen sich im Vergleich zur Kontrollgruppe sowohl bei den dementen • Patienten (Funktionalität) als auch bei ihren Angehörigen (Selbstkompetenz in der Betreuungsfunktion) • signifikante und klinisch relevante Verbesserungen nachweisen • • Demente Patienten: Nach 12 Wochen zeigten in der Interventionsgruppe 75% -82% eine klinisch • relevante Verbesserung ihrer Funktionalität für Aktivitäten des täglichen Lebens (Verbesserung • Kontrollgruppe: 9%-10%). • • Angehörige: Nach 12 Wochen zeigten in der Interventionsgruppe 48% eine relevante Verbesserung ihrer • Selbstkompetenz in der Betreuungsfunktion (Verbesserung Kontrollgruppe: 24%). • • Die Number needed to treat (NNT) lag für Patienten bei etwa 1.5 und für Angehörige bei etwa 4.0

38. Graff M.: Community based occupational therapy for patients with dementia and their care givers: randomized controlled trial. BMJ 2006 (published online 17 November 2006)