La méta-analyse des essais thérapeutiques

1. Service de Biostatistiques Service de Pharmacologie Clinique - EA 643 La méta-analyse des essais thérapeutiques Michel Cucherat mcu@upcl.univ-lyon1.fr www.spc.univ-lyon1.fr/user/mcu/polycops

2. But et principes

3. Problématique : multiplicité de l'information Essai 1 Essai 5 Essai 3 Essai 2 Essai 4 Conclusion pour la pratique Synthèse Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

4. Problèmes liés à la synthèse de l'information • Existence d'un risque d'erreur statistique au niveau des essais • Sélection des essais • Pollution par les études biaisées • Conséquence de la non publication de certains travaux • Sens d'un résultat global, agrégatif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

5. Exemple introductif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

6. Résultats concluants - non concluants • Essais concluants • différence significative • en faveur de l'effet du traitement • mais risque alpha • Essais non concluants • différence non significative • ne donnent pas d'argument en faveur de l'effet du traitement • deux origines • absence d’effet du traitement • manque de puissance Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

7. Au total ? • Résultats apparemment discordants • 1 résultats significatifs • 5 résultats non significatifs • Il est possible de faire deux conclusions opposées • au total, ces résultats sont en faveur de l'efficacité du traitement • au total, ces résultats ne sont pas en faveur de l'efficacité du traitement Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

8. Conclusion en faveur de l'efficacité • S'appuie sur les résultats significatifs • un seul, mais essai parmi les deux plus grands • Les résultats non significatifs • sont expliqués par un manque de puissance Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

9. Conclusion en défaveur de l'efficacité • La majorité des essais sont non significatifs • Un seul essai est significatif • rejeté en argumentant le risque alpha • probabilité de 5% que le résultat soit dû au hasard • Non prise en compte du manque de puissance des essais non significatifs Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

10. Solution - 1 Existence d'un risque d'erreur statistique au niveau des résultats des essai Calcul d'un effet traitement commun à partir des données de chaque essai Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

11. Problèmes liés à la synthèse de l'information • Existence d'un risque d'erreur statistique au niveau des essais • Sélection des essais • Pollution par les études biaisées • Conséquence de la non publication de certains travaux • Sens d'un résultat global, agrégatif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

12. Synthèse de résultats d'essais thérapeutiques • Méta-analyse • méthodologie rigoureuse : reproductible • méthode statistique : quantification de l'effet traitement • Revue de la littérature • pas de méthode, subjectif • correspond parfois à une simple opinion argumentée • discursif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

13. Fréquence de citation en fonction des résultats • Hypocholestérolémiants, Ravnskov, BMJ 1992 • Nombre de citations par an • résultats favorable (n=14) 40 • résultats non favorables (n=10) 7.4 • résultats favorable dans une grande revue (n=8) 61 Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

14. Fréquence de citation en fonction des résultats (2) • 2 essais publié dans le JAMA • Fréquence de citation dans les années suivant la publication 1er 2ème 3éme 4éme • LRC, favorable 109 121 202 180 • Miettinen, non favorable 6 5 3 Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

15. Solution - 2 Sélection arbitraire des essais en fonction de leurs résultats Prise en compte de tous les essais quelle que soit la nature de leur résultat Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

16. Problèmes liés à la synthèse de l'information • Existence d'un risque d'erreur statistique au niveau des essais • Sélection des essais • Pollution par les études biaisées • Conséquence de la non publication de certains travaux • Sens d'un résultat global, agrégatif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

17. MA = GIGO Garbage in Garbage out Méta-analyse essais biaisés méta-analyse biaisée Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

18. GIGO conséquence 1 • La méta-analyse n'est pas une méthode magique • elle n'améliore pas la qualité des études qu'elle regroupe • p.e. : La méta-analyse d'études d'observation a la valeur des études d'observation Études potentiellement biaisées MA potentiellement biaisée Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

19. GIGO conséquence 2 • Une ou des études biaisées biaisent le résultat de la méta-analyse • Effet tampon de la MA: résultat de la MA moins biaisé que celui des essais biaisés • détection par les outils de recherche de l'hétérogénéité • Décision prise en fonction de la MA est moins erronée que celle prise uniquement en fonction de/des essais biaisés Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

20. Solution - 3 La prise en compte d'essais biaisés qui faussent le résultat de la synthèse Sélection des essais dont la qualité méthodologique garantit suffisamment l'absence de biais Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

21. Problèmes liés à la synthèse de l'information • Existence d'un risque d'erreur statistique au niveau des essais • Sélection des essais • Pollution par les études biaisées • Conséquence de la non publication de certains travaux • Sens d'un résultat global, agrégatif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

22. Biais de publication Les essais positifs sont plus facilement publiés que les négatifs Différence significative Différencenon-significative Publication Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

23. Biais de publication • Un essai peut être positif à tort (risque alpha) • Exemple d'un traitement sans efficacité • Risque alpha = 5% Essais réalisés Essais publiés E. positifs 5 5 E. négatifs 95 0 Méta-analyse positive Méta-analyse négative ! Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

24. Biais de publication (2) • Influence de la significativité des résultats sur la publication Easterbrook et al., Lancet 1991 285 études soumises au comité d'éthique d'Oxford Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

25. Biais de publicationévaluation • Évaluation de l'influence de la signification des résultats sur l'acceptation d'un manuscrit Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

26. Solution - 4 Biais de publication lié à la non publication des résultats négatifs Recherche exhaustive des essais publiées et non publiés Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

27. Problèmes liés à la synthèse de l'information • Existence d'un risque d'erreur statistique au niveau des essais • Sélection des essais • Pollution par les études biaisées • Conséquence de la non publication de certains travaux • Sens d'un résultat global, agrégatif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

28. Difficultés • Danger = regrouper des informations différentes • patients différents • traitements différents • des critères différents • des essais de qualité différente • mélanger des pommes et des oranges • La synthèse de l’information a-t-elle un sens ? • Solution : question précise Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

29. Opposition pragmatique - explicatif Pragmatique Explicatif Critères larges Critères précis Effet de la baisse ducholestérol Effet des statines Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

30. Solution - 5 Sens d'un résultat global Formulation d'une question Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

31. Solutions apportées par la MA • Synthèse • répondant à une question précise • Exhaustive • arguments en faveur et en défaveur de l'hypothèse • Quantifiée • prise en compte des problèmes statistiques • meilleure estimation possible de la taille de l'effet étant donnée la totalité de l’information disponible • Basée sur des résultats non biaisés • Reproductible : méthodologie Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

32. Apports de la méta-analyse par rapport à un seul essai • Synthèse de l'information • Réduction de la quantité d'information • Clarification des situations contradictoires • Peser les arguments en faveur ou en défaveur de l'effet du traitement • Meilleure précision dans l'estimation de la taille de l'effet • Gain en puissance • Représentativité accrue Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

33. Les mesures de l'effet traitement

34. Mesure de l'effet traitement • Quantification de la taille de l'effet du traitement • Quantité d'effet • mesurée par des indices d'efficacité • Indices (critères binaires / critères continus) • risque relatif • odds ratio • différence des risques • nombre de sujet nécessaire de traiter • "effect size" Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

35. Mesure de l'effet traitement : Critères binaires • Les plus utilisés • Fréquence de survenu (risque) d'un événement • dans de groupe contrôle R0 • dans le groupe traité R1 Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

36. Groupe traité -- -- -- Groupe contrôle -- -- -- Données nécessaires • Données résumées (tabulées) • pour chaque essais, une table 2x2 par critère Critère 1 Événement présent Événement absent effectif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

37. Risque Relatif • RR = RT / RC Ev. Effectif Risque Grp T 45 180 45 / 180 = 0.25 Grp C 56 176 56 / 176 = 0.32 RR = 0.25 / 0.32 = 0.79 • Réduction Relative de Risque RRR = 1 - 0.79 = 21% Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

38. Risque relatif, interprétation • RR < 1 (RT < RC) • le traitement réduit la fréquence de l'événement • effet bénéfique • RR > 1 (RT > RC) • le traitement augmente la fréquence de l'événement • effet délétère • RR = 1 (RT = RC) • le traitement est sans effet Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

39. Odds ratio Ev. Effectif Risque Grp T 45 180 45 / 180 = 0.25 Grp C 56 176 56 / 176 = 0.32 OR = (0.25/(1-0.25) /( 0.32/(1-0.32)) = 0.71 • L'odds ratio est une approximation du risque relatif Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

40. 1.0 0.8 0.6 Odds-ratio 0.4 RR=0.8 0.2 0.0 0.00 0.25 0.50 0.75 1.00 Risque de base dans le groupe contrôle Relation entre RR et OR L’OR n’est proche du RR que si le risque de base est faible (<0.4) Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

41. Mesure de l'effet : Différence des risques • DR = RT - RC Ev. Effectif Risque Grp T 45 180 45 / 180 = 0.25 Grp C 56 176 56 / 176 = 0.32 DR = 0.25 - 0.32 = -0.07 = -7% • Absence d’effet DR = 0 Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

42. Mesure de l’effetNombre nécessaire de traiter NNT • NNT = Nb de patients nécessaire de traiter pour éviter UN événement • NNT = 1 / DR 1 / 0.07 = 14 • Intérêts • signification «clinique» • Limites • personnalise trop le bénéfice • calcul de l’intervalle de confiance Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

43. NNTerreurs d’interprétation • 14 sujets à traiter pour éviter 1 événements • sur 14 patients un seul bénéficie du traitement • NNT = Nombre moyen • tous les patients bénéficient un peu du traitement • en moyenne cela équivaut à un événement évité pour NNT patients traiter Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

44. Exercice d'application (1) • 4S : statine, prévention secondaire • n = 2223 + 2221 • 11,5% vs 8,2% • 4,9 ans • WOSCOPS : statine, prévention primaire • n = 3293 + 3302 • 4,1% vs 3,2% • 5,4 ans • ISIS 2 : fibrinolyse, IDM • n = 8595 + 8592 • 12,0% vs 9,2% • 5 sem. Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

45. Exercice d'application (2) RR DR NNT 4S 0.71 3.3% 30 WOSCOPS 0.78 0.9% 112 ISIS 2 0.77 2.8% 36 Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

46. Relation RR DR R0=50% R1=25% RR=0.5 DR=25% R0=1% R1=0.5% RR=0.5 DR=0.5% R0=10% R1=5% RR=0.5 DR=5% Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

47. Bénéfice absolu - relative • Bénéfice absolu • Différence de risque • Santé publique • Conséquence du traitement • Bénéfice relatif • Risque relatif • Explication • Efficacité du médicament Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

48. Pertinence clinique • pertinence clinique <> signification statistique • dépends du risque de base (naturel) • importance de l’intervalle de confiance • RR = 0.70 [0.42; 0.98] • RR = 0.70 [0.65; 0.75] Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon

49. Principe général

50. Hypothèse de base • Effet observé dans un essai = part fixe commune à tous les essais + part spécifique à chaque essai • But de la méta-analyse : • estimer la part fixe commune • effet traitement commun, global • intervalle de confiance • test statistique Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon