Artikkelin kriittinen arviointi

1. Artikkelin kriittinen arviointi Jouko Miettunen 15.1.2010

2. Otsikko ja abstrakti Tutkimusasetelma hyvä ilmoittaa otsikossa tai abstraktissa. Abstraktin selkeys tärkeää: mitä tehtiin ja löydettiin? taustatiedot, tutkimuksen tavoitteet (hypoteesit?), metodit, päätulokset,johtopäätökset strukturoitu abstrakti parempi kuin ei-strukturoitu

3. Johdanto Aiheen tieteellinen tausta täytyy esittää riittävissä määrin: olennaiset alkuperäistutkimukset tärkeät, viimeaikaisimmat katsaukset aiheesta mitä tiedetään aiheesta ja mitä puutteita tiedoissa/tutkimuksessa aiheeseen liittyen on? Tutkimuksen tavoitteet: sisältäen maininnan tutkimusaineistosta, altisteesta, vasteesta ja muista tärkeistä muuttujista (jos vain mahdollista) mahdolliset hypoteesit tai kysymykset joihin tutkimuksella halutaan vastata

4. Metodit Tutkimusasetelma Onko selitetty mahdollisimman tarkkaan? Usein tutkimuksessa voi olla piirteitä useista eri asetelmista. Onko kuvattu lähdeväestö, josta aineisto on kerätty? Tutkimuksen paikka ja aika (setting) tutkimuksen paikka mistä tutkittavat kerätty? sairaala, avohoito jne… mikä kaupunki, mikä maa? tutkimuksen aika: tutkittavien keruun ajankohta altisteiden, vasteiden ja muiden muuttujien keruun ajankohta seurannan pituus Vandenbroucke ym. Strengthening the reporting of observational studies in epidemiology (STROBE). Epidemiology 2007;18: 805–35.

5. Tutkittavat - kohorttitutkimus Onko selitetty mistä lähdejoukosta ja millä metodilla ja kriteereillä tutkittavat valittu? Onko seurannan metodit selitetty? Jos kyseessä kaltaistettu tutkimus (matched study), onko selitetty kaltaistamisen kriteerit ja altistuneiden ja ei-altistuneiden määrät? Tutkittavat – tapaus-verrokkitutkimus Mistä lähdejoukosta ja millä metodilla ja kriteereillä tapaukset ja verrokit valittu? Millä perusteilla tapaukset ja verrokit valittu? Jos kyseessä kaltaistettu tutkimus (matched study), onko selitetty kaltaistamisen kriteerit ja verrokkien määrä per tapaus? Tutkittavat – poikittaistutkimus Onko selitetty mistä lähdejoukosta ja millä metodilla ja kriteereillä tutkittavat valittu?

6. Muuttujat Onko kaikki muuttujat selkeästi selostettu? altisteet (exposure) vastemuuttujat (outcome) sekoittavat tekijät (confounder) Onko diagnostiset kriteerit selitetty? Aineiston/muuttujien lähde, mittaaminen Onko selitetty mistä lähteestä muuttujat saatu? Millä tavoin muuttujat kerätty/mitattu? Onko selitetty miten päädytty tutkittavan aineiston kokoon? Määrälliset muuttujat Onko selitetty kuinka muuttujat luokiteltiin ja miksi? Onko eri muuttujaluokat kuvattu?

7. Tilastolliset menetelmät Onko kaikki käytetyt tilastolliset menetelmät selitetty? Onko selitetty alaryhmille tehdyt analyysit? Interaktioiden tutkimiseksi tehdyt analyysit? Kuinka käsitelty puuttuvaa dataa? Kohorttitutkimus – onko selitetty miten kato huomioitu? Tapaus-verrokkitutkimus – miten tapausten ja verrokkien kaltaistaminen (matching) huomioitu? Poikittaistutkimus – onko analyyseissä otettu huomioon aineiston valinnan metodi?

8. Tulokset Tuloksissa tulee kertoa mitä löydettiin alkaen aineiston kuvailusta. Päätulokset, avustavat analyysit Ei tulkintaa eikä kirjoittajien omia mielipiteitä

9. Tutkittavat Joka kohdassa tulisi olla ilmoitettuna syyt miksi joku ei osallistunut (kato) Vuokaaviolla on hyvä havainnollistaa aineiston keruu

10. Haapea ym. Non-participation may bias the results of a psychiatric survey. Soc Psychiatry Psychiatr Epidemiol 2007; 42:403-9.

11. Psykiatrisen epidemiologian haasteet - kato kodittomat sellaiset joihin ei saada yhteyttä jäävätkö sairaammat tai terveemmät katoon? esim. rikollisuuteen ja päihteiden käyttöön liittyvä epidemiologinen tutkimus on vaikeaa, koska nämä asiat ovat laittomia ja tutkittavat pelkäävät ”kiinni jäämistä”, päihteiden käytön tunnustaminen voi olla hankalaa psykiatrisiin häiriöihin liittyvä häpeä, stigman pelko

12. Kuvaileva data Tutkittavan joukon ominaisuudet (demografiset, kliiniset, sosiaaliset) tulee olla kuvailtu. Altisteet ja mahdolliset sekoittavat tekijät tulee olla kuvailtu Jokaisen muuttujan kohdalla tulee ilmoittaa tutkittavien määrä joilta tämä tieto puuttuu Kohortti tutkimuksessa tulee ilmoittaa seuranta-aika (keskiarvo, keskihajonta ja kokonaisaika)

13. Outcome data Kohortti tutkimus—Tapahtumien lukumäärä tai sopiva yhteenveto tunnusluku Tapaus-verrokkitutkimus—Tapahtumien lukumäärä joka kategoriassa tai sopiva yhteenveto tunnusluku Poikkileikkaustutkimus—Tapahtumien lukumäärä tai sopiva yhteenveto tunnusluku

14. Päätulokset Vakioimattomat ja sekoittavilla tekijöillä vakioidut tulokset 95% luottamusväleineen Tulee olla selkeästi ilmoitettu millä tekijöillä on vakioitu ja miksi ne on valittu Jos jatkuvia muuttujia on luokiteltu rajat tulee esittää Suhteelliset riskit on hyvä ilmoittaa absoluuttisina riskeinä sopivaa ajanjaksoa kohti Myös muut analyysit - esim alaryhmä analyysit, interaktiot ja sensitiivisyys analyysit - tulee olla esitetty

15. Pohdinta - päätulosten kertaus Päätulokset vedetään yhteen tutkimuksen tarkoituksen valossa Limitaatio-osassa tulee olla otettu huomioon mahdolliset harhat (bias), näiden syyt ja mahdolliset vaikutukset tuloksiin (suunta ja voimakkuus)

16. satunnainen virhe ja systemaattinen harha (random error / systematic bias) • Virhe (error): tiedon keräämisessä tapahtunut väärä mittaus • Harha (bias): tiedon keräämisessä esiintyvä ongelma kun tietoa kerätään valikoituneesti tai mittausmenetelmä tuottaa järjestelmällisesti virheellisen tuloksen • johtaa todellisen yhteyden heikkenemiseen • tuoda esille olemattoman yhteyden • vääristää olemassa olevaa yhteyttä

17. Systemaattinen harha tärkeä tietää ja tunnistaa tutkimuksessa! vaikuttaa tutkimuksen ja sen tulosten laatuun voi johtua virheistä tutkimuksen asetelmassa, aineiston keruussa, aineiston analysoinnissa tai tulosten tulkinnassa (eli missä vain vaiheessa tutkimusta) hyvin useita erilaisia muotoja, esim.: Informaatioharha (information bias) Mittausharha (measurement bias) Valintaharha (selection bias) Julkaisuharha (publication bias)

18. Berksonin harha • esimerkki valintaharhasta • sairaalapotilaat ovat vaikeammin sairaita kuin tavalliset potilaat ja sairaalapotilailla on enemmän muuta sairautta • suurten sairaaloiden potilaillaan tekemät tutkimukset eivät välttämättä ole sovellettavissa esim. terveyskeskuksen potilaisiin

19. Berkson's bias and the mood dimensions of bipolar disorder • In this paper we examined whether manic and depressive dimensions independently contribute to mental health service use and determined the degree of comorbidity between manic and depressive dimensions in individuals with and without mental health service use. • Netherlands Mental Health Survey and Incidence Study (NEMESIS), a prospective epidemiological survey in a representative sample of the Dutch population (N = 7076). • Dimensions of depression and mania and mental health service use (MHSU) were assessed with the Composite International Diagnostic Interview (CIDI) at baseline, and prospectively one and three years later. • Manic and depressive dimensions contributed independently to mental health service use. • Mania-comorbidity given the presence of depressive dimension was significantly higher in individuals with mental health service use than in those without, both retrospectively (16.7% versus 7.1%, p = 0.000) and prospectively (10.8% versus 6.6%, p = 0.017). • We conclude that the bipolar phenotype consists of manic and depressive dimensions that may be much more loosely associated than (Berkson) biased clinical observations suggest. Regeer ym. Int J Meth Psychiatr Res 2007; 18:279-86.

20. Tulkinta Esitettynä varovainen tulkinta tuloksista ottaen huomioon tavoitteet, rajoitukset, analyysien monimuotoisuus, samankaltaisten muiden tutkimusten tulokset ja muu asiaan liittyvä todistusaineisto Tilastollinen merkitsevyys ei sama kuin kliininen merkitsevyys “absence of evidence is not evidence of absence” Yleistettävyys Arvio siitä miten hyvin tutkimuksen tuloksia voi yleistää (external validity)

21. Rahoitus Tutkimuksen rahoittajat ja näiden tahojen rooli tutkimuksessa tulee olla esitettynä Jos artikkeli perustuu johonkin muuhun alkuperäistyöhön myös sen rahoittajat tulee olla ilmoitettuna

22. Kirjallisuutta Vandenbroucke ym. Strengthening the reporting of Observational Studies in epidemiology (STROBE). Epidemiology 2007;18: 805–35. Sutton-Tyrrell. Assessing bias in case-control studies. Proper selection of cases and controls. Stroke 1991; 22: 938-42. Ioannidis. Why most published research findings are false. PLoS Med 2005;2:e124. Oulun Psykiatrisen Epidemiologian Seura (OPES) (www.opes.fi) jouko.miettunen@oulu.fi (www.joukomiettunen.net)

24. Kliinisten kokeiden arviointi Jouko Miettunen 29.1.2010

25. Taustaa kliinisille kokeille Kokeelliset (experimental) tutkimukset Randomized Controlled Trial (RCT) Interventio Verrataan uutta hoitoa (lääke, terapia tms.) joko lume- eli plasebohoitoon tai aiempaan vallitsevaan lääkkeeseen

26. Tutkimusetiikka Eettinen lupa tutkimukselle Kliinisen kokeiden rekisteröinti Lupa tutkittavilta “Informed consent” Riittävän iso otoskoko (tilastollinen voima, power)

27. Clinical Trial Phases

28. Altman ym. The revised CONSORT statement for reporting randomized trials Otsikko ja abstrakti Oliko kyseessä satunnaistettu koe (esim. “random allocation,” “randomized,” tai “randomly assigned”)? • Johdanto - Introduction • Katsaus aiempiin tutkimuksiin ja peruste (tarve) nykyiselle tutkimukselle

29. Altman ym. The revised CONSORT statement for reporting randomized trials Menetelmät - Methods Kriteerit osallistujille, mistä aineisto kerätty ja tutkimusympäristö (setting) diagnoosimenetelmä hyväksyttävä Interventio - tarkasti interventio (lääke+annos, hoito, tms.) mikä kullekin ryhmälle tehtiin, miten ja milloin? Tavoitteet ja hypoteesit

30. Altman ym. The revised CONSORT statement for reporting randomized trials Vaste (outcome) – Määriteltävä tärkeimmät ja toissijaiset vasteet, vasteiden mittaamisen laatu tutkittavien koulutus luotettavuuden arviointi Otoskoko – Miten määriteltiin, tehtiinkö “interitem” analyyseja? Oltava riittävän iso, eettiset ja tieteelliset syyt Voimalaskelmat (power analysis)

31. Altman ym. The revised CONSORT statement for reporting randomized trials Satunnaistaminen (randomization) Menetelmät tarkasti (esim. halutaanko ryhmiin yhtä paljon miehiä ja naisia). Potilaan tutkimusryhmän salaaminen myös tutkijoilta mahdollisimman pitkään (allocation concealment) Menetelmät tarkasti

32. Altman ym. The revised CONSORT statement for reporting randomized trials Toteutus – Kuka värväsi tutkittavat, kuka määritteli ryhmät, kuka antoi lääkkeen, kuka analysoi tulokset, … Sokkoutus (blinding, masking) Sekä potilaat, intervention toteuttajat, vasteen arvioijat Arvioitiinko onnistuiko sokkoutus Sokkoutus ei ole aina mahdollista (open trials)

33. Altman ym. The revised CONSORT statement for reporting randomized trials Onko kuvattu kaikki tilastotieteelliset menetelmät millä ryhmiä verrattiin keskenään? Oliko lisäanalyyseja, esim. alaryhmien analyyseja tai adjustoituja analyyseja Yleiset ohjeet tilastomenetelmistä soveltuu myös kliinisiin kokeisiin

34. Altman ym. The revised CONSORT statement for reporting randomized trials Tulokset - Results Osallistujien vuokaavio

36. Altman ym. The revised CONSORT statement for reporting randomized trials Värvääminen – Tutkimuksen alun ja seurannan ajankohdat (päivämäärät) Tutkimuksen alkutilanne – Osallistujien sosiodemografisia ja kliinisiä taustatietoja Analyysien otoskoot – “Intention to treat” Sivuvaikutukset (side effects) ja vaaratapahtumat (adverse events) tutkimusryhmittäin

37. Altman ym. The revised CONSORT statement for reporting randomized trials Vaste, tulos estimoidun vaikutuksen koko (“effect size”) Esim. Riskisuhde (RR), Odds Ratio (OR), keskiarvojen vertailu Varmuus (esim. 95% luottamusväli). Lisäanalyysit Mitkä etukäteen suunniteltu, mitkä ei?

38. Altman ym. The revised CONSORT statement for reporting randomized trials Pohdinta - Discussion Tulosten tulkinta Onko hypoteesit otettu huomioon? Mahdolliset tutkimusharhat ja epätarkkuudet? Miten tulkittu tulokset jos useita analyyseja (useita vastemuuttujia) jotka antaa ristiriitaisia tuloksia?

39. Altman ym. The revised CONSORT statement for reporting randomized trials Onko tulokset yleistettävissä? Onko tulokset tulkittu suhteessä nykyiseen tutkimusnäyttöön? Onko rahoittajat ja niiden osuus tutkimuksessa mainittu? Onko tutkimuksella seurantaryhmä (monitoring)? Turvallisuus

40. Lääkkeiden otoskoot? • Vasteen valinta? • esim. negatiiviset vs. positiiviset psykoosioireet?

41. Kliiniset kokeet - kirjallisuutta Altman ym. The revised CONSORT statement for reporting randomized trials: explanation and elaboration. Ann Intern Med 2001, 134, 663-94. Piaggio ym. Reporting of Noninferiority and Equivalence Randomized Trials. An Extension of the CONSORT Statement. JAMA 2006, 295, 1152-60. Campbell ym. CONSORT statement: extension to cluster randomised trials. BMJ 2004, 328(7441), 702-8. Leucht ym. Second-generation antipsychotics for schizophrenia: can we resolve the conflict? Psychol Med 2009, 39, 1591-1602.

42. Kliiniset kokeet - kirjallisuutta McAlister ym. Analysis and Reporting of Factorial Trials. A Systematic Review. JAMA. 2003;289:2545-2553. Collins ym. Methodological standards in schizophrenia research: a critical survey of clinical trials. Intern J Meth Psychiatr Res 1992, 2, 111-6. WHO. Guidelines for good clinical practice (GCP) for trials on pharmaceutical products, 1995: http://www.vghtpe.gov.tw/~mre/goodexp/Fercap-Survey/WHO-GCP-1995.pdf Oulun Psykiatrisen Epidemiologian Seura (OPES) (www.opes.fi)