Counterfactuals and Causal Inference – II

1. Barbara Befani & Alessandra Decataldo presentano Counterfactuals and Causal Inference – II • by Stephen Morgan & Christopher Winship Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

2. Introduzione • Logica della valutazione o metodo di attribuzione causale utile quando si devono gestire grandi numeri? • Concentrazione del valore dell’intervento su un’unica variabile risultato quantitativa • Logica di base dell’attribuzione causale • LOPC (Lista di cause possibili) • GEM (Metodo generale di eliminazione) Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

3. Introduzione (2) • Per attribuire la causalità ci sono almeno otto metodi tutti altrettanto validi che si applicano a seconda delle diverse situazioni: • (i) osservazione diretta (visiva, tattile) • (ii) osservazione riportata (studi di caso) • (iii) inferenza eliminativa (autopsia, guasto meccanico) • (iv) inferenza teorica, basata sull'uso di una teoria o di un'analogia, es. fisica, geologia, astronomia • (v) manipolazione diretta (es. in cucina o in laboratorio) • (vi) esperimenti naturali (metereologia, epidemiologia) • (vii) quasi-esperimenti (medicina, pedagogia) • (viii) RCTs randomizzazione, assegnazione casuale (farmacologia) Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

4. Le cose di Patton • But from a philosophy of science perspective, which is where the notion of counterfactuals originated, a counterfactual does not mean a control group or an RCT. So, for example, the General Elimination Method of examining different explanations and seeing which best matches the evidence trail (e.g., forensic or epidemiological science) can still employ counterfactual reasoning. Thus, it is important not to treat RCTs as equivalent to using counterfactual logic. Most counterfactual arguments in philosophy are entirely logical, without data. And it is important to know that counterfactual reasoning is controversial in philosophy of science with both adherents and critics. • Conditional counterfactual reasoning, if x then y, is a form of logic that works well with discretely identifiable and measurable causes and effects within relatively short time periods. In my view, the if x, then y, and if not x, then not y logic of counterfactual conditionality does not work well in complex, dynamic interventions because such logical reductionism can actually distort and misrepresent actual complex system dynamics. Thus, in the philosophical literature on counterfactual reasoning, you will find that most of the examples are specific events and actions with immediate consequences (John shot Robert. Did the shot cause Robert's death? But John was told to shoot Robert by James. Is the primary cause James' command or Robert's shot? And why did James give the command? And why did Robert follow the command? Philosophers can quickly get entangled in sorting out these causal links -- and they use counterfactual reasoning to test out the viability of various causal attributions and links. One sees, however, that if the simple causal question of whether John's shot caused Robert's death becomes a philosophical quagmire, how much more difficult is it to formulate definitive causal chains for complex development interventions?) Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

5. Commenti a Veronica • L'obiettivo generale è quello di individuare (misurare l'entità di) l'effetto netto dell'intervento, che può essere letto come il tentativo di individuare le cause del risultato post-intervento (da cosa dipende? Dall'intervento o da altro?). Per essere utilizzato richiede moltissima informazione, moltissima teoria, prevedere gli effetti inattesi, etc. Devi fare un sacco di ipotesi che non sempre sono verificate. Secondo alcuni questo è un limite, secondo altri è un fatto positivo perché "ti spinge" a cercare tutte queste informazioni in altri modi e con altri metodi. • Se serve fare analisi controfattuale piuttosto che qualcos'altro, dipende secondo me da due cose: 1) il tipo di domanda valutativa e 2) il tipo e la qualità delle informazioni / conoscenze disponibili o che si possono raccogliere. E' cmq importante distinguere da logica controfattuale (che è una variante della logica generale dell'attribuzione causale, come ci dice Patton nelle cose che ci ha inviato Nicoletta) e metodi quantitativi per la ricostruzione del controfattuale (di cui parlano Morgan & Winship). Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

6. La logica del controfattuale • Voglio stimare l’effetto netto dell’intervento su una popolazione che è più ampia di quella dei trattati • Ipotizzo che i trattati non siano rappresentativi della popolazione per la quale io voglio ottenere informazioni • Opero una netta divisione fra trattati e non trattati e il grosso del lavoro è capire come queste due popolazioni si differenziano • Nel caso pre-post, invece di popolazione parlo di CONTESTO trattato e contesto non trattato Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

7. Lo stimatore ingenuo • lo stimatore ingenuo sottrae cavoli a patate, ossia confronta due valori riferiti a entità diverse • δNAIVE -> E(Y1|D=1) – E(Y0|D=0) = la differenza tra il valore osservato sui trattati e il valore osservato sui non trattati • Mancano dei pezzi: il valore che mi interessa è l’effetto netto sull’intera popolazione, composta da (individui simili a i) trattati e (i.s. a i) non trattati = media ponderata tra due effetti: l’effetto sulla popolazione simile ai trattati e l’effetto sulla popolazione simile ai non trattati. L’effetto è (la media di) una differenza tra due valori • δ = π*(δ|D=1) + (1-π)*(δ|D=0) • (Y1-Y0) = π*(Y1-Y0|D=1) + (1-π)*(Y1-Y0|D=0) = • = π*[(Y1|D=1)-(Y0|D=1)] + (1-π)*[(Y1|D=0)-(Y0|D=0)] • E(δ) = π*E[(Y1|D=1)-(Y0|D=1)] + (1-π)*E[(Y1|D=0)-(Y0|D=0)] Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

8. La scomposizione dell’effetto netto • E(δ) = δNAIVE + π*E[(Y1|D=1)-(Y0|D=1)] + (1-π)*E[(Y1|D=0)-(Y0|D=0)]– [E(Y1|D=1) - E(Y0|D=0)] = • E(Y1|D=1) - E(Y0|D=0) (differenze empiricamente osservate) - • - [E(Y0|D=1) - E(Y0|D=0)] (differenze di partenza) - • (1-π)*[E(δ|D=1) - E(δ|D=0)](differenze di progresso durante l’intervento, indip. dalle differenze di partenza) • Se la differenza finale è pari alla differenza di partenza, l’intervento non ha avuto nessun effetto! • Oppure potrebbe aver avuto effetto perché si suppone che senza intervento il gruppo dei trattati sarebbe arretrato • Alle differenze empiricamente osservate devo sottrarre quelle di partenza e la differenza tra le dinamiche proprie di ciascun gruppo durante l’intervento Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

9. Randomizzazione (RCTs) • I due gruppi sono equivalenti per costruzione, e ognuno di essi rappresenta l’intera popolazione • Le differenze di partenza sono nulle • Le differenze di dinamica interna durante l’esperimento sono nulle • Quindi la differenza di arrivo mi riflette effettivamente l’effetto • Dinamica durante l’esperimento • Il campione può non essere più casuale per: • Possono cambiare le caratteristiche dei gruppi durante l’esperimento • Uscita dal gruppo (diversa tra i due gruppi - differential attrition) (anche per il matching) • Cross-contamination (i non trattati imitano i trattati) • Hawthorne effect (la consapevolezza di appartenere a un certo gruppo modifica il comportamento) • Doppio cieco (ignoranza del partecipante e di chi somministra) (certo questo è molto più facile in farmacologia…) Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

10. Regressione • Stimoil valore della differenza di partenza • E(Y0|D=1) - E(Y0|D=0) • E il valore della differenza tra le dinamiche interne / velocità di progresso durante l’esperimento • (π-1)*[E(δ|D=1) - E(δ|D=0)] • Che poi vado a sottrarre alla differenza tra i valori osservati Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

11. Esempi Regressione Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

12. Serie Storiche • Interventi in cui tutta la popolazione è esposta all’intervento (dati PRE/POST) • I due gruppi sono due contesti, quello PRE e quello POST intervento; devo capire in cosa si differenziano • Dinamica spontanea dei fenomeni fa sì la che il contesto di arrivo non sia lo stesso rispetto a quello di partenza; il contesto cambia. • Devo attribuire la situazione del contesto di arrivo all’intervento o ad altro • Ho due contesti: contesto di partenza (Cp) e contesto di arrivo (Ca) • Il dato in assenza di intervento (non trattati) è riferito a Cp • Il dato in presenza di intervento (trattati) è riferito a Ca • E(δ) = E(Y1|Ca) - E(Y0|Cp) (differenze empiricamente osservate) – • [E(Y0|Ca) - E(Y0|Cp)] (differenze di partenza) – • (1-π)*[E(δ|Ca) - E(δ|Cp)](differenze di sensibilità all’intervento dei due contesti, indip. dalle differenze di partenza) Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

13. Esempi Serie Storiche Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009

14. Costruire un gruppo di controllo tramite matching • Per rendere comparabili i due gruppi si costruisce un gruppo di controllo in cui ogni componente ha un corrispondente nel gruppo sperimentale • Matching rispetto a cosa? Come faccio a sapere quali sono le variabili causalmente rilevanti? • Mi serve tanta teoria • Il gruppo di controllo somiglia ai trattati! • Non mi stima né le differenze di baseline (perché non ho informazioni sui non trattati, cioè sul totale o su un campione rappresentativo dei non trattati) né le differenze di velocità di crescita, perché mi manca sempre uno dei due gruppi • Mi serve per stimare E(Y0|D=1), quindi E(δ|D=1), ovvero l’effetto netto medio sulla popolazione di cui sono rappresentativi i trattati, non su tutta • Funziona solo se i trattati sono rappresentativi di tutta la popolazione a cui si vuole generalizzare l'intervento • A volte non riesco a fare il matching neanche dei trattati perché non esistono individui comparabili con tutti i trattati (vedi esempio Trivellato) Barbara Befani e Alessandra Decataldo, Ciclo di Seminari sui Classici della Valutazione, Roma 5 Maggio 2009