Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al

1. Departamento Federal de Asuntos Exteriores DFAEAgencia Suiza para el Desarrollo y la Cooperación COSUDE Panorama de los MÉTODOS cualitativos y cuantitativos reconocidos para la medición y la evaluación en la cooperación al desarrollo Simon Zbinden Seminario sobre el MONITOREO DE EFECTOS La Habana, Junio 2009 Una presentación basada en: DeGeVal, 2009. Verfahren der Wirkungsanalyse – Eine Landkarte für die entwicklungspolitische Praxis. Arbeitskreis Evaluation von Entwiclungspolitik, Arbeitsgruppe Wirkungsanalyse. Berlin, Germany.

2. Porqué un tal panorama - objetivos • Conocer los métodos existentes más reconocidos -> saber donde recoger mayor información • Métodos comprobados y reconocidos, todos con características y usos diferentes -> no hay solución "one-size-fits-all" -> hacer una selección à medida • Aplicar métodos comprobados y reconocidos versus desarrollar métodos propios -> crear mayor validad y credibilidad • Mezclar para optimizar evaluación -> seleccionar métodos cualitativos y cuantitativos

3. Centros de recursos • Network of Networks on Impact Evaluation (NONIE)www.worldbank.org/ieg/nonie • International Initiative for Impact Evaluation (3ie)www.3ieimpact.org • DAC Network on Development Evaluationwww.oecd.org/dac/evaluationnetwork • Poverty Action Labhttp://www.povertyactionlab.org/ Metodologías, ejemplos & casos

4. DAC estándares de calidad1 para evaluaciones • Análisis del contexto socio-político-institucional y otros factores externos que influencian las intervenciones • Descripción detallada del método y técnica (incluso tomar la muestra) de la colección y el análisis de los datos / informaciones • Participación de todos los actores involucrados • Transparencia de todas las fuentes de información • Validación de los fuentes de información exigen: 1 DAC Guidelines and Reference Series: Quality Standards for Development Evaluation.

5. Un granito de teoría

6. Dos preguntas fundamentales • Funciona? • Porqué funciona? Ambas son crucial, pero raramente abordado simultáneamente

7. 1era Pregunta: Funciona? -> atribución y causalidad "Curtis, necesito que me busques un método para echar toda la culpa de esto a el niño"

8. 1era Pregunta: Funciona? • Problema fundamental: la misma persona no puede ser observado simultáneamente "con" y "sin" la intervención • Conclusión: "evidencia" solo con lo contrafactual–> que hubiera pasado al grupo meta sin la intervención, politica o medida el efecto neto validad interna-> concluir que x causo y

9. 1era Pregunta: Funciona? • Perspectiva investigación social empíricatrabajar con grupo de control = comparación "sin y con" -> única manera para evidenciar causalidad, pero método de más alto valor informativo • En practica no siempre posible (25 – 40% de los casos)-> metodo alternativo: "antes-después"

10. 2nda Pregunta: Porqué y como funciona? Dos formas para abordarlos • Enfoques con regresiones de datos cuantitativos -> comprobar un modelo teórica • Métodos cualitativos

11. Conclusiones Idealmente aspirar a… comparación contrafactual "sin y con", combinado con "antes – después" (funciona?) mezcla de métodos cuantitativos y cualitativos (porqué y como funciona?)

12. Los métodos "Carlito, puedes quitar tu método de orientación, el día laboral está terminado"

13. -> Feria Métodos cuantitativos - rigurosas -> Para generar información primaria • diseños cuantitativos experimentales • diseños cuantitativos quasi-experimentales

14. -> Feria Métodos cualitativos - participativos -> Para generar información primaria • Enfoque CeVal según Stockmann • Do-No-Harm (DNH) • e-Val® • Drivers of Change (DoC) by DFID • Impact Monitoring Assessment según Herweg&Steiner • Impact Pathway • KAP (Knowledge, Attitude and Practice) • Method for Impact Assessment of Programs and Projects (MAPP) • Most Significant Change (MSC) • NGO-IDEA Toolbox • Outcome Mapping (OM) • Participatory Impact Monitoring / FAKT • Participatory Impact Monitoring / SLE • Participatory Livelihood System Analysis (PalSa) • Participatory Methodology for Measuring the Contribution of Volunteering to Dev • Peace and Conflict Assessment (PCA) • Programm-integriertes Planungs-, Monitoring- und Evaluationssystem (PriMe) según InWent • Real Time Evaluation RTE • Tracer Study • Monitoreo hacia efectos de la GTZ

15. Most Significante Change Technique (MSC) Técnica acerca del cambio más significativo • Método de monitoreo y evaluación participativo de efectos e impactos • Durante y al fin del ciclo de proyecto • Principio de base: • actores "identifican" posibles cambios por el proyecto (abierto, no hay indicadores pre-definidos) • coleccionar cuentos de cambios significativos • análisis sistemática participativa por los actores • selección del historia más significativo

16. Most Significante Change Technique (MSC) Técnica acerca del cambio más significativo

17. Tracer Studies Método para estudiar "rastros" en formación / capacitación • Método para monitorear formación y capacitación en los sectores educación, caplab, universidades • Autoevaluación de los graduados (abierto, sin indicadores predefinidos) • Medición antes, después y después + x años • Principio de base • establecer población de base • establecer indicadores, áreas de observación (cuestionarios semi-abiertos) • seleccionar muestra significativa (voluntaria) de graduados • antes, después y después + x años • triangulacion con evaluaciones de empleadores

18. Gracias – ahora Sí, medimos! MCR