CPMP/EWP/1776/99: PtC on Missing Data

1. CPMP/EWP/1776/99: PtC on Missing Data Ferran.Torres@uab.es

2. Evolución de los sujetos Ferran.Torres@uab.es

3. Datos faltantes (missing data)(1) • ¿Qué son los datos faltantes? ¡¡¡¡¡ Casillas vacías en los CRDs!!! • Viola el principio de la estricto principio de la ITT • La posibles causas son, por ejemplo : • Pérdida de seguimiento • Fracaso o éxito terapéutico • Acontecimiento adverso • Traslado del sujeto • No todas las razones de abandono están relacionadas con el tratamiento Ferran.Torres@uab.es

4. Datos faltantes (missing data) (2) • Afectando a : • Solo un dato • Varios datos en una visita • Toda una visita • Varias visitas • Toda una variable • Todas las visitas tras la inclusión Ferran.Torres@uab.es

5. Datos faltantes (missing data) (3) • Por qué son un problema? Potencial fuente de sesgos en el análisis • Tanto mayor cuanto mayor la proporción de datos afectados • Tanto más sesgo cuanto menos aleatorios • Tanta más interferencia cuanto más relacionados con el tratamiento • Impide la ITT Ferran.Torres@uab.es

6. EJEMPLOS Ferran.Torres@uab.es

7. Ejemplo: Descripción de poblaciones (1) Distribución de pacientes : Patients withdrawing before treatment Patients without Baseline VA • No Major Protocol Violation • E.g., Cataract • E.g., Only a Baseline VA Ferran.Torres@uab.es

8. Ejemplo 2: Incorrecto uso de poblaciones (1) Diseño • Cirugía vs Tratamiento Médico en estenosis carotidea bilateral (Sackket et al., 1985) • Variable principal: Número de pacientes que presenten TIA, ACV o muerte • Distribución de los pacientes: • Pacientes randomizados: 167 • Tratamiento quirúrgico: 94 • Tratamiento médico: 73 • Pacientes que no completaron el estudio debido a ACV en las fases iniciales de hospitalización: • Tratamiento quirúrgico: 15 pacientes • Tratamiento médico: 01 pacientes Ferran.Torres@uab.es

9. Ejemplo 2: Incorrecto uso de poblaciones (2) Primer análisis que se realiza : • Población Por Protocolo (PP): Pacientes que hayan completado el estudio • Análisis • Tratamiento quirúrgico: 43 / (94 - 15) = 43 / 79 = 54% • Tratamiento médico: 53 / (73 - 1) = 53 / 72 = 74% • Reducción del riesgo: 27%, p = 0.02 Ferran.Torres@uab.es

10. Ejemplo 2: Incorrecto uso de poblaciones (3) El análisis definitivo queda de la siguiente forma : • Población Intención de Tratar (ITT): Todos los pacientes randomizados • Análisis • Tratamiento quirúrgico: 58 / 94 = 62% • Tratamiento médico: 54 / 73 = 74% • Reducción del riesgo: 18%, p = 0.09(PP: 27%, p = 0.02) Conclusiones:  La población correcta de análisis es la ITT  El tratamiento quirúrgico no ha demostrado ser significativamente superior al tratamiento médico Ferran.Torres@uab.es

11. Relación de los valores faltantes con1) Tratamiento2) Resultado Ferran.Torres@uab.es

12. Ferran.Torres@uab.es

13. Ferran.Torres@uab.es

14. Ferran.Torres@uab.es

15. Ferran.Torres@uab.es

16. Ferran.Torres@uab.es

17. Ferran.Torres@uab.es

18. Ferran.Torres@uab.es

19. Tipos de Missing Ferran.Torres@uab.es

20. MCAR • Missing completely at random • La probabilidad de obtener un missing es completamente independiente de: • Valores observados: • Variables basales, otras mediciones de la misma variable... • Valores no observados o missing • Ejemplo: Cambio de ubicación geográfica Ferran.Torres@uab.es

21. MAR • Missing at random • La probabilidad de obtener un missing depende: • Sí: Valores observados: • No: Valores no observados o missing • Ejemplo: Sujetos con peor puntuación basal abandonan el estudio independientemente del resultado Ferran.Torres@uab.es

22. Non-Ignorable • La probabilidad de obtener un missing depende: • Valores no observados o missing • Ejemplo: malas o excelentes respuestas cursan con una mayor tasa de abandonos Ferran.Torres@uab.es

23. Manejo de los valores faltantes Ferran.Torres@uab.es

24. General Strategies • Complete-case analysis • “Weigthing methods” • Imputation methods • Analysing data as incomplete • Other methods Ferran.Torres@uab.es

25. Complete-case analysis • Analyse only subjects with complete data • Problems: • Loss of power • Bias • Only if MCAR may be assumed • Against the ITT principle Ferran.Torres@uab.es

26. “Weigthing methods” (Sometimes considered as a form of imputation) • To constuct weigths for incomplete cases: • Each patient belongs to a subgroup in which all subjects have the same characteristics • A proportion within each subgroup are destined to complete the study • Heyting el al. • Robins et al. Ferran.Torres@uab.es

27. Randomización Inicio del tratamiento Datos faltantes : métodos de tratamiento (2) Sujetos con valores missing en la variable de eficacia Ferran.Torres@uab.es

28. Randomización Inicio del tratamiento Datos faltantes : métodos de tratamiento (3) Se aplica el método LOCF (Last Observation Carried Forward) Ferran.Torres@uab.es

29. Randomización Inicio del tratamiento Datos faltantes : métodos de tratamiento (4) Se aplica el método BOCF (Basal Observation Carried Forward) Ferran.Torres@uab.es

30. Ejemplo: LOCF & Extrapolación lineal Adas-Cog 36 32 28 24- 20 16 12 8 4 REGRESIÓN LINEAL LOCF = Sesgo de la información 0 2 4 6 8 10 12 14 16 18 Time month Ferran.Torres@uab.es

31. Ferran.Torres@uab.es

32. Imputation methods • LOCF and variants • Bias: • depending on the amount and timing of drop-outs: • Ej: The conditions under study has a worsening course • Conservative: • Drop-outs beacuse of lack of efficacy in the control group • Anticonservative: • Drop-outs beacuse of intolerance in the test group • Otros: interpolación, extrapolación Ferran.Torres@uab.es

33. Adas-Cog 36 32 28 24- 20 16 12 8 4 0 2 4 6 8 10 12 14 16 18 Time month Ejemplo: falta el resultado de Adas-cog en alguno de los tiempos Imputación por regresión Ferran.Torres@uab.es

34. Imputation methods • Worst case analysis: • Impute: • The worst response to the test • The best response to the control • Ultraconservative. Increases the variability. • Robustness of results: • Second approach: “Sensitivity analysis” • Lower bound of efficacy Ferran.Torres@uab.es

35. Group Means • Continuous variable: • group mean derived from a grouping variable • Categorical – ordinal variable: • Mode • If no unique mode: • Nominal: a value will be randomly selected • Ordinal: the ‘middle’ category or a value is randomly chosen from the middle two (even case) Ferran.Torres@uab.es

36. Predicted Mean • Continuous or ordinal variables: • Least-squares multiple regression algorithm to impute the most likely value • Binary or categorical variable: • a discriminant method is applied to impute the most likely value. Ferran.Torres@uab.es

37. Imputation Class methods • Imputed values from responders that are similar with respect to a set of auxiliary variables. • Clinical experience • Statistical methods: Hot-Decking • Respondents and non-respondents are sorted into a number of imputation subsets according to a user-specified set of covariates. • An imputation sub-set comprises cases with the same values as those of the user-specified covariates. • Missing values are then replaced with values taken from matching respondents. • Options: • The first respondent’s value (similar in time) • A respondent’s randomly selectedvalue Ferran.Torres@uab.es

38. Multiple Imputation • Replaces each missing value in the dataset with several imputed values instead of just one. Rubin 1970's • Steps: • Use complete data to estimate • Combine the estimators (i.e. Regresion coefficients) to compute predicted values • Randomly simulate a set of residuals to be added to the regression to impute m values Ferran.Torres@uab.es

39. MI: Assumptions (2) • The data model: • Probability model on observed data • Multivariate normal, loglinear ... • Prediction of the missing data • The distribution • Specification of the distribution for the parameters of the imputation models • Use likelihood / bayesian techniques for analysis • Noninformative prior distribution • The mechanism of nonresponse Ferran.Torres@uab.es

40. Multiple Imputation • S-PLUS • SOLAS • Gary King: • Amelia • Joe Schafer: • web • Soft • The multiple imputation FAQ page Ferran.Torres@uab.es

41. Analysing data as incomplete • Time to event variables • Mixed models (random-fixed) Ferran.Torres@uab.es

42. Other • Gould 1980 • Converts the variable into an ordinal score. • Impute according a pre-defined value (ej. percentile) and the time and cause of drop-out (lack of efficacy, cure, adverse effects...) • Miscelanea: • Missing data indicators, pairwise deletion... Ferran.Torres@uab.es

43. Missing Data in Clinical Trials –A Regulatory View Ferran.Torres@uab.es

44. ICH-E3,6,9 • Key points: • Potential source of bias • Common in Clinical Trials • Avoiding MD • Importance of the methods of dealing • Pre-specification, re-definition • Lack of universally accepted method for handling • Sensitivity analysis • Identification and description of missingness Ferran.Torres@uab.es

45. Points to Consider on Biostatistical / Methodological issues arising from recent CPMP discussion on licensing applications PtC on Missing Data Ferran.Torres@uab.es

46. Ferran.Torres@uab.es

47. Structure • Introduction • The effect of MD on data analysis • Handling of MD • General recommendations Ferran.Torres@uab.es

48. INTRODUCTION Ferran.Torres@uab.es

49. Introduction • Potential source of bias • Many possible sources and different degrees of incompleteness • MD violates the ITT principle: • Full set analysis requires imputation • The strategy employed might in itself provide a source of bias Ferran.Torres@uab.es

50. The effect of missing values on data analysis and interpretation Ferran.Torres@uab.es