Help! Statistiek !

1. Help!Statistiek! Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Doel:Informeren over statistiek in klinisch onderzoek. Tijd: Derde woensdag in de maand, 12-13 uur 16 januari: Overeenstemming 20 februari: Hoe om te gaan met herhaalde metingen 19 maart: ROC curve en diagnostische nauwkeurigheid Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie

2. Overeenstemming • Inter- en intrabeoordelaars overeenstemming (2 vaste observatoren) • Nominale data • Ordinale data • Continue data • Meerdere “observatoren” • ICC • Vragenlijsten: Cronbach’s alfa

3. Nominale data • Twee radiologen classificeren (onafhankelijk) dezelfde 85 mammografieën in vier categorieën: normaal, benigne, verdenking van kanker, kanker • Overeenstemming?

4. Simpel idee: proportie overeenstemming: 54 / 85 = 0.64 Houdt geen rekening met toevalsovereenstemming Data uit Boyd e.a., 1982

5. Corrigeren voor toevals-overeenstemming • Cohen’s kappa (interbeoordelaarsbetrouwbaarheid): • De toevalsovereenstemming wordt berekend door in de hoofddiagonaal rijtotaal*kolomtotaal/85 per cel te berekenen en vervolgens te sommeren

6. 16*29/85 = 5,46 38*22/85 = 9,84 3*1/85 = 0,04 28*33/85 = 10,87 (10,87 + 9,84 + 5,46 + 0,04)/85 = = 26,2/85 = 0,31

7. kappa Interpretatie van κ (volgens Altman) <0,2 slecht (κ kan negatief zijn) 0,2-<0,4 matig 0,4-<0,6 redelijk 0,6-<0,8 goed 0,8-<1 erg goed Er zijn formules voor sd en toets voor H0: κ = 0 (en voor H0: κ = c)

8. Enkele aspecten van kappa kappa hangt af van het aantal categorieën en de prevalenties daarvan - als je categorieën samenvoegt, wordt κ groter - het percentage overeenstemming kan hoog zijn, terwijl κ klein is bij scheve marginalen. Κ= 0,33

9. SteekproefgrootteH0: κ = 0,4 H1: κ = 0,6 (α = 0,05) Marginal Probabilities Power 1 2 3 4 5 80% 0.49 0.51 101 0.40 0.60 124 0.30 0.70 141 0.20 0.80 183 0.33 0.333 0.337 75 0.20 0.30 0.50 99 0.20 0.25 0.55 101 0.245 0.245 0.25 0.26 66 0.10 0.20 0.30 0.40 89 0.10 0.10 0.30 0.50 104 0.07 0.08 0.25 0.60 117 0.19 0.19 0.20 0.20 0.22 60 0.10 0.15 0.15 0.20 0.40 80 0.07 0.08 0.I0 0.15 0.60 105

10. Voorbeeld ordinale data

11. (verwachte waarden) Κ houdt geen rekening met de grootte van de verschillen! Κ = (0,72 – 0,33)/(1 – 0,33) = 0,58 SE = 0,065

12. Gewogen kappa bij ordinale variabelen Lineaire gewichten Kwadratische gewichten

13. Concrete gewichten Lineair: Kwadratisch:

14. Gewogen kappa Ongewogen κ = 0,58 (SE = 0,065) Gewogen Κ = 0,70 met lineaire gewichten (SE = 0,051) Gewogen Κ = 0,80 met kwadratische gewichten

15. Gewogen kappa (2) 0 2 28 32 Gewogen Κ = 0,70 met lineaire gewichten Gewogen Κ = 0,80 met kwadratische gewichten wordt 0,68, SE = 0,055 wordt 0,76

16. Intra-beoordelaarsbetrouwbaarheid • In hoeverre is de beoordelaar het met zichzelf eens (test – hertest) • Iriscopie (Knipschild, BMJ 1988) Foto’s van ogen van 39 patiënten met ontstoken galblaas 39 controles naar 5 gerenommeerde iriscopisten ziekte ja nee Observator ja nee totaal 39 39

17. Twee continue metingen • De meeste meettechnieken zijn niet exact. Als een nieuwe methode (sneller / goedkoper) beschikbaar komt, willen we de resultaten vergelijken met de oude methode. • Hoe vergelijken we twee continue metingen? (bloeddruk, vetpercentage, tumorvolume, …) • Correlatiecoëfficiënt? Gepaarde toets? • Pat X1 X2 • 68 64 • 56 59 • ….. • n 78 71 Waarom zijn deze methoden fout?

18. Voorbeeld • Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Pearson’s correlatiecoëfficiënt meet de mate van lineaire samenhang

19. Gepaarde t-toets Pat obs1 obs5 1 40 60 2 50 30 3 60 80 4 70 50 Verschil -20 20 -20 20

20. Bland-Altman (The Lancet, 1986) • Zet het verschil van X1 en X2 af tegen het gemiddelde Sd verschil is 6.96 cm³, 95% referentie interval verschil [-14.2 , 13.7] als “limits of agreement” Gemiddelde Verschil: is -0.24 cm³

21. Lin’s Concordantie correlatie coëfficiënt • Om aan de bezwaren tegen Pearson’s cc en de gepaarde t-toets tegemoet te komen wordt gekeken naar het verwachte kwadratische verschil t.o.v. de 45° lijn: Bias correctie t.o.v. de 45° lijn

22. Voorbeeld • Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50 Pearson’s correlatiecoëfficiënt: - obs1, obs2: 1 - obs1, obs3: 0,99 - obs1, obs4: 0,99 - obs1, obs5: 0,12 Lin’s CCC 0,9881 0,9941 0,0116 0,1125

23. Meerdere “observatoren” (1) • 4 observatoren kijken naar MRI-beelden bij 15 patiënten (continue variabele) patiënt observator volume • 1 1 48,96 • 1 2 42,06 • 1 3 42,80 • 1 4 45,92 • 2 1 44,40 • 2 2 38,73 • 2 3 42,59 • 2 4 46,05 • 3 …….. • Patiënt Ob1 Ob2 Ob3 Ob4 • 48,96 42,06 42,80 45,92 • 44,40 38,73 42,59 46,05 • ….

24. Meerdere “observatoren” (2) • Kwaliteit van leven wordt gemeten met een vragenlijst met 36 items • Pat item1 item2 …. Item36 1 3 2 …. 4 2 2 2 …. 3 …. Meerdere observatoren op een nominale of ordinale schaal: “multiple rater kappa”

25. de intraclass correlatie coëfficiënt (ICC) • Verschillende versies van de ICC, afhankelijk van keuze observatoren (verschillend, fixed, random), consistentie / absolute overeenstemming en enkelvoudige / gemiddelde scores • Voor de ICC wordt de spreiding tussen de respondenten vergeleken met de totale relevante spreiding • Bij twee observatoren is de ICC vergelijkbaar met Lin’s coëfficiënt van concordantie Afhankelijk van het theoretisch model. Indien deze spreiding 0 is, is ICC = 1

26. ICC • Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50

27. ICC • Pat obs1 obs2 obs3 obs4 obs5 1 40 38 42 4,2 60 2 50 48 49 4,9 30 3 60 58 61 6,1 80 4 70 68 68 6,8 50

28. Vragenlijsten • In het geval van vragenlijsten berekent men vaak Cronbach’s alfa als maat voor betrouwbaarheid of interne consistentie. Dit is een speciaal geval van de ICC.

29. Voorbeeld vragenlijst bevolkingsonderzoek baarmoederhalskanker 1. helemaal mee eens 2. een beetje mee eens 3. niet eens, niet oneens 4. een beetje mee oneens 5. helemaal mee oneens … • 36. Het is de verantwoordelijkheid van de vrouw om zich te laten onderzoeken op(voorstadia van) baarmoederhalskanker. 1 2 3 4 5 • 37. Het is goed dat het bevolkingsonderzoekbaarmoederhalskanker vrouwen er aan herinnert om zich te laten onderzoeken op (voorstadia van) baarmoederhalskanker. 1 2 3 4 5 • 38. Het is de verantwoordelijkheid van de overheid om vrouwen te behoeden voor het krijgen van baarmoederhalskanker. 1 2 3 4 5 ….

30. Referenties • McGraw en Wong: Forming inferences about some intraclass correlation coefficients, Psychological Methods, 1996, vol 1 • Rae: the equivalence of multiple rater kappa statistics and intraclass correlation coefficients, Educational and Psychological Measurement, 1998, 48 • Altman, Practical Statistics for Medical Research • Knipschild: looking for gall bladder disease in the patient’s iris, BMJ, 1988 vol 297 • Lin: A Concordance correlation coefficient to evaluate reproducibility, Biometrics,1989, 45 • Lin: Assay validation using the concordance correlation coefficient, Biometrics, 1992, 48 • Flack e.a., Sample size determinations for the two rater kappa statistic, Psychometrika, 1988, vol. 53, 3

31. Waarschuwing • Zorg voor onafhankelijke observatoren! Respondent 16: B!

32. Help!Statistiek! Doorlopende serie laagdrempelige lezingen, voor iedereen vrij toegankelijk. Doel:Informeren over statistiek in klinisch onderzoek. Tijd: Derde woensdag in de maand, 12-13 uur 16 januari: Overeenstemming 20 februari: Hoe om te gaan met herhaalde metingen 19 maart: ROC curve en diagnostische nauwkeurigheid Sprekers: Vaclav Fidler, Hans Burgerhof, Wendy Post DG Epidemiologie