Strategic Impact Evaluation Fund

1. Strategic Impact Evaluation Fund www.worldbank.org/sief

2. Marie-Hélène Cloutier & Patrick Premand Bancomundial MEDIR O IMPACTO II Metodosquase-experimentais

3. 2 Seleçãoaleatória Promoçãoaleatória Modelo de discontinuidade DuplaDiferenca ou “Diff-in-Diff” Métodos de avaliação do impacto Emparelhamento Emparelhamentopelamarca de propensão

4. 2 Seleçãoaleatória Promoçãoaleatória Modelo de discontinuidade DuplaDiferenca ou “Diff-in-Diff” Métodos de avaliação do impacto Emparelhamento Emparelhamentopelamarca de propensão

5. Programas de combateàpobreza Aposentaduria Bolsas de estudo Agricultura Modelo de discontinuidade Muitosprogramassociaisselecionam os beneficiáriosutilisandoumíndiceou umalímite: Alvo: familias embaixo do límte de pobreza Alvo: populaçãoacima de umacertaidade Destinadasaosalunoscom bons resultados nos testes Fertilizantedestinado à agriculturafamiliarexplorações (< umcertonúmero de hectares)

6. Exemplo: Efeito de subsídios para fertilizantes sobre a produçãoagrícola Objectivo Melhorar a produçãoagrícola (rendimento de arroz) daspequenasexplorações. Método • Exploraçõescomterreno ≤50 ha sãopequenas • Exploraçõescomterreno >50 ha são grandes Intervenção Os pequenosagricultoresrecebemsubsídios para comprarfertilizante

7. Exemplo: Modelo de discontinuidade da regressão – Situação na linha de base Nãoelegível Elegível

8. Exemplo: Modelo de discontinuidade da regressão – Situaçãodepois da intervenção IMPACTO

9. Para o modelo de discontinuidade, e necessário: Índice contínuo de elegibilidade Um ponto de corte de elegibilidade bem definido Caso 5: Modelo de discontinuidade • Temos um índice de eligibilidade contínuo com um ponto de corte de elegibilidade bem definido. • Familias com índice ≤ ponto de corte são elegíveis • Familias com índice > ponto de corte são inelegíveis • Ou vice-versa • Intuição para o método: • Unidades justo acima do ponto de corte são muito similares às justo em baixo– boa comparação • Comparar resultado Ypara as unidades justo acima e justo em baixo do ponto de corte

10. Caso 5: Modelo de discontinuidadepara Progresa Elegibilidade para Progresa é baseada sobre umíndicenacional de pobreza Familiaconsideradapobre se o valor do índiceficar ≤ 750 Elegibilidade para Progresa: • Elegível=1 se o valor do índice≤ 750 • Elegível=0 se o valor do índice> 750

11. Caso 5: Modelo de discontinuidadeValor do índice vs. consumo antes do tratamento Consumo Valores preditos Índice de pobreza

12. Caso 5: Modelo de discontinuidadeValor do índice vs. consumodepois do tratamento Consumo Valores preditos 30.58** Impactoestimadosobre o consumo (Y) | Regressãomultivariada Índice de pobreza OBS: Efeitoestatisticamentesignificativo à 1% indicadopor ** e à 10% por+

13. ! Para lembrar (1) Modelo de discontinuidade Modelo de discontinuidade Requerumíndicecontínuo de elegibilidadecomum ponto de cortebemdefinido Nãoprecisa de excluirumgrupo de familias ou de indivíduoselegíveis. Produzumaestimaçãosemvieis do efeito do tratamento para as observaçõesaoredordo ponto de corte de elegibilidade (que podemsercomparadas). Pode, àsvezes, serutilizado para programasjáemcurso.

14. ! Para lembrar (2) Modelo de discontinuidade • Modelo de discontinuidade • Produzumaestimação local : • Efeito do programaaoredor do ponto de corte • Nem sempre se podegeneralizar • Poder : • São necessáriasmuitasobservaçõesaoredor do ponto de corte de elegibilidade. Importante evitarerros no modeloestatístico : As vezes o que sembraumadiscontinuidade na figura é outra coisa

15. 2 Selecçãoaleatória Promoçãoaleatória Modelo de discontinuidade Dupladiferença Ou Diff-in-Diff Métodos da avaliação de impacto Emparelhamento Propensity score matching

16. DuplaDiferença(Dif-in-dif) Y=Taxa de escolarizaçãodasraparigas P=Programa de bolsa-escola para elas - - - = 0.11 Diff-in-Diff: Impacto=(Yt1-Yt0)-(Yc1-Yc0)

17. DuplaDiferença(Dif-in-dif) Y=Renda P=Programa de capacitaçãoprofissionalizante de jovens - - - = 0.11 Dif-in-Dif: Impacto=(Yt1-Yc1)-(Yt0-Yc0)

18. DupladiferençaImpacto=(A-B)-(C-D)=(A-C)-(B-D) Nãoinscritos C=0.81 Presenca na escola D=0.78 A=0.74 Inscritos Impacto=0.11 B=0.60 Tempo T=0 T=1

19. DupladiferençaImpacto=(A-B)-(C-D)=(A-C)-(B-D) Nãoinscritos C=0.81 Presenca na escola D=0.78 A=0.74 Impacto<0.11 Inscritos B=0.60 Tempo T=0 T=1

20. Caso 6: DuplaDiferença OBS: Efeitoestatisticamentesignificativo à 1% indicadopor ** e à 10% por+

21. ! Para lembrar DuplaDiferença • Para testaristo, pelomenos3 observaçõesno tempo sãonecessárias: • 2observaçõesantes • 1observaçãodepois. DuplaDiferença: combina inscritos& nãoinscritoscomantes & depois. Inclinação: Produzumcenáriocontrafactual para a mudança no resultado Hipótese Fondamental: As inclinações– sãoidênticasnos grupos de tratamento e de controle

22. E…Recomendação para Progresa? OBS: Efeitoestatisticamentesignificativo à 1% indicadopor ** e à 10% por+

23. 2 SeleçãoAleatória PromoçãoAleatória Modelode Discontinuidade DuplaDiferenças Ou Diff-in-Diff Métodos de avaliação de impacto Emparelhamento Matching

24. Emparelhamento(Matching) Ideia Para cadaunidadetratada, escolher a melhorunidadede comparação (par) de uma outra fonte de dados. Como? Os pares sãoselecionados sobre a base dassimilaridadesnascaracterísticasobservadas. Problema? Se hácaracterísticasnãoobserváveise que estes « não-observáveis » influenciam a participação: tendênciasde seleção!

25. Emparelhamentopelo score de propensão(PSM) Grupode Comparação:não-participantes com as mesmascaracterísticasobserváveis que os participantes. • Na prática, é muitodifícil. • Pode haver muitascaracterísticasimportantes! Emparelhar sobre a base do “score de propensão”, SoluçãopropostaporRosenbaume Rubin: • Calcular a probabilidadede participaçãode cadaum, baseada sobre as suas característicasobserváveis. • Escolher pares que têm a mesmaprobabilidadede participaçãocom as unidadestratadas. • Ver anexo2.

26. Densidade do score de propensão Densidade Não-Participantes Participantes SuporteComum 0 1 Score de Propensão

27. Caso 7: Emparelhamento - Progresa OBS: Efeitoestatisticamentesignificativo à 1% indicadopor ** , 5% por * e à 10% par+

28. Caso 7: SuporteComum (Progresa) Densidade: Pr (Inscritos) Densidade: Pr (Inscritos) Densidade: Pr (Inscritos) Pr (Inscritos)

29. Caso 7: Emparelhamento -Progresa OBS: Efeitoestatisticamentosignificativo à 1% indicadopor ** , 5% por * e à 10% par+

30. E…Recomendação para Progresa? OBS: Efeitoestatisticamentesignificativo à 1% indicadopor ** , 5% por * e à 10% par+

31. ! Para lembrar Emparelhamento Oemparelhamentorequergrandes amostras e dados de boa qualidade. • O emparelhamento ex-post (apósintervenção) não é recomendável: • Se nãotiverlinha de base, cuidado! • O emparelhamento sobre variáveisendógenas ex-post dámausresultados. • O emparelhamentona linha de basepodeserútil: • Conheceras régras de seleção e emparelharemfunçãodelas • Combinarcomoutras técnicas(i.e. dif-in-dif)

32. Recomendação para Progresa? OBS: Se o efeito é estatisticamentesignificativoà umnível de umaimportânciade 1%, nósmarcamos o impactoestimadopor2 asteriscos(**). Se é significativoà umnívelde 10% , nósmarcamos o impactode +

33. 2 SeleçãoAleatória PromoçãoAleatória Combinações de métodos Modelode Discontinuidade DuplaDiferença Ou Diff-in-Diff Métodos da AI Caixa de ferramentas Emparelhamento Propensity score matching

34. Daondevêmosgrupos de comparação? • As régras de operação dos programasdeterminam a estratégia da avaliação. • É quasesemprepossívelencontrarumgrupo de comparação se: • as régras de seleção dos beneficiáriosforemequitativas, transparentes • a avaliação é concebida de maneiraprospectiva.

35. 3 perguntas para determinarqual o métodoapropriado para umdeterminadoprograma: Regrasoperacionais e avaliaçãoprospectiva Aproveitar asoportunidades de produzirbomsgrupos de comparação e assegurar que dados de linha de base sãocoletados • Financiamento:O programa tem os recursossuficientes para passar a escala e cobrirtodos os potenciaiselegíveis? • Regras de focalização: Quem é elegível para o programa? O programafocalizaem base a umíndice ou é disponível para todos? • Calendário:Comosão os beneficiáriosincluidos no programa – todosaomesmo tempo ou porfases?

36. Escolherseumétodo de AI

37. O objectivo da avaliação de impacto é de estimar o efeitocausal ou o impacto de umprograma sobre indicadores de resultados de interesse. Lembramo-nos (1) “

38. Para estimar o impacto, nósdevemosestimaro cenáriocontrafactual. O que teriaacontecidosem o programa? Utilizarumgrupo de comparação (grupocontrole ou testemunha) Lembramo-nos (2) “

39. Nóstemosumacaixa de ferramentascom5 métodospara identificargrupos de comparação. Lembramo-nos (3) “

40. Escolher o melhormétodo de avaliaçãoque é praticável no contextooperacional. Lembramo-nos (4) “

41. Referência Versãoemfrancêse espanholdisponiveisVersãoportuguesaempreparacãowww.worldbank.org/ieinpractice

42. Obrigada

44. Anexo 1Minimosquadradosem 2 estagios(2SLS) Modelo com tratamento endogeno (T): Fase 1: Regressar a variável endógena sobre a variável instrumental (Z) e as outras variáveis explicativas: • Calcular o valor predito para cada observação: T «  chapéu»

45. Anexo 1 Minimosquadradosem 2 estagios(2SLS) Fase2: Regressar o resultado sobre a variávelpredita(e outras variáveisexplicativas): • Corregir os erros standard (elessãobaseados sobre os T Chapéue nãoT) Na prática, utilizarSTATA – « ivreg ». Intuição: T foi “limpado” da sua correlaçãocomε.

46. Inquêritorepresentativo e altamentecomparável entre os não participantes e os participantes. Re-agrupar as duasamostras e estimarummodelo « logit/probit » da participaçãoaoprograma. Restringir as amostras para garantir umsuportecomum(importante fonte de vieis nos estudosobservacionais) Para cada participante, encontrarumaamostra de não participantes comumíndice de propensãosimilar. Comparar os indicadores dos resultados para cadaobservação e o grupo de pares: a diferênça é a estimação do impactodadoaoprograma. Calcular a média destesimpactosindividuais para obter o impacto médio global. Anexo 2Etapasdo emparelhamento PSM