Metodologías de Evaluación de Impacto aplicadas a los Grupos de Ahorro Comunitario

1. Metodologías de Evaluación de Impacto aplicadas a los Grupos de Ahorro Comunitario Luz Magdalena Salas Foro Latinoamericano de Grupos de Ahorro Bogotá, Diciembre 5 de 2013

2. La importancia de evaluar Determinar la efectividad de un programa o una intervención • Conocer si el programa o intervención logra cumplir con el objetivo para el cual fue diseñado • Medir el “tamaño” del efecto o impacto de la intervención • Determinar si la focalización es la adecuada • Comparar los beneficios y costos de implementación para determinar su escalabilidad • Generar información y conocimiento • Posibilidad de ajustar las intervenciones de acuerdo con las necesidades de la población objetivo

3. Metodologías de Evaluación Aplicadas a GACC en Colombia • Cuasi-experimental (Ene. de 2013 – Dic. de 2014): • Mide el impacto de participar en GACC • Selección no aleatoria de individuos • Mide la situación de participantes al inicio y después de la intervención • Compara la situación de los participantes (tratados) con un grupo de personas similar que no participa en el programa (controles) • Experimental (Ago. 2011 – Dic. 2012): • Mide el impacto de recibir intervención aplicada a miembros de GACC que promueve el ahorro (commitment savings product) • Asignación aleatoria de individuos a grupo de tratamiento y control • Mide y compara la situación de participantes en cada grupo después de la intervención

4. 1. Evaluación Cuasi-Experimental de Impactos del programa GAAC Objetivos: • Medir el impacto sobre la calidad de vida y bienestar de los hogares participantes • Medir cambio en su comportamiento frente al ahorro y crédito • Evaluar qué tanto contribuye el programa en mejorar la capacidad de manejar y acumular activos financieros que les permita generar ingresos, suavizar consumo y enfrentar mejor choques inesperados • Evaluar de qué manera los activos gestionados a través de los GAAC contribuyen al desarrollo de emprendimientos, negocios o actividades productivas

5. Indicadores de medición de impacto Generación de ingresos: • Manejo y gestión de recursos financieros en actividades productivas, negocios y emprendimientos • Capacidad de enfrentar dificultades financieras Calidad de vida y bienestar: • Habitabilidad • Seguridad alimentaria • Salud y nutrición • Capital social • Nivel de pobreza • Capacidad de enfrentar choques inesperados • Violencia intrafamiliar • Toma de decisiones al interior del hogar • Capacidad de suavizar el consumo • Construcción de redes sociales

6. Método de Medición de Impactos Variable de interés Promedio del impacto estimado de la intervención Intervención GAAC Grupo de tratamiento Grupo de control Línea de tiempo

7. Implementación de la Evaluación Cuasi-Experimental Innovaciones: • Diseño y coordinación • Ejecución – recolección de datos • Generación de capacidades al interior del equipo de operación del programa • Apoyo institucional del gobierno nacional y otras organizaciones

8. Implementación de la Evaluación Cuasi-Experimental 1. Diseño y coordinación: • Diseño ajustado a la operación del programa • Coordinación y supervisión conjunta entre el equipo de consultores externos y el operador del programa

9. Implementación de la Evaluación Cuasi-Experimental 2. Ejecución – recolección de datos: • Realizado por el operador del programa bajo supervisión de coordinador de campo y consultor externo • Uso de tabletas electrónicas: • Diseño de una aplicación móvil (tipo Android) para encuestas • Información en tiempo real • Reducción sustancial en costos de recolección de información • Menor tiempo de recolección, verificación y análisis de información • Mejor calidad en la información • Recolección de información de forma intermitente durante la intervención y en la línea final a menor costo

10. Implementación de la Evaluación Cuasi-Experimental 3. Generación de capacidades locales: Entrenamiento y capacitación en: • Recolección de encuestas de hogares • Manejo de técnicas de medición de impacto • Manejo de software especializado para análisis de información

11. Implementación de la Evaluación Cuasi-Experimental 4. Alianza institucional: • IED – VITAL: implementación de la evaluación • Red Unidos (ANSPE): identificación de la población del grupo de control. Acompañamiento de cogestores durante el trabajo de campo • BID – FOMIN: Financiación y apoyo técnico en diseño, implementación y análisis

12. Localización de la Muestra • 2000+ participantes entre tratamiento y control • Cerca de 200 GACC en 7 departamentos del país

13. Situación Inicial de los Participantes en GACC Ahorro

14. Situación Inicial de los Participantes en GACC Tenencia y uso de cuentas bancarias

15. Situación Inicial de los Participantes en GACC Préstamos

16. Situación Inicial de los Participantes en GACC Vinculación a los GACC

17. Situación Inicial de los Participantes en GACC • Tienen experiencia en servicios financieros • Tienen alguna capacidad de ahorro • Hacen parte de redes sociales (grupos religiosos, comunitarios, etc.) • Sin embargo, es necesario conocer cuál es el papel de los GACC en: • Creación de capital social • Cooperación al interior de los grupos • Dinámicas al interior del hogar • Construcción de confianza

18. 2. Evaluación Experimental de un Producto de Promoción al Ahorro vinculado a miembros GACC • Estudia si un producto de promoción al ahorro (commitment savings product) - compromisos individuales o grupales de los miembros de GACC lleva a cambios en decisiones de ahorro • Intervención: definición explícita de una meta para uso de los ahorros de dos formas: • Compromiso individual • Compromiso grupal • Definir un propósito de ahorro crea un compromiso que induce a los participantes de los GACC a ahorrar más y a utilizar los fondos en la meta propuesta, porque su incumplimiento induce un costo (no monetario)

19. 2. Evaluación Experimental de un Producto de Promoción al Ahorro Muestra: Resultados: • Metas: vivienda, educación o para sus negocios • Las personas que definen un compromiso individual para uso de su ahorro ahorran un 17% más que el grupo de control • Las personas que definen un compromiso y lo comparten con los demás miembros de su GACC aumentan la compra de acciones en 35% • La intervención es más efectiva para quienes tienen menos restricciones económicas para ahorrar

20. Retos de las Evaluaciones de Impacto • Información: Medición de efectos reales y variables que capturen resultados de la intervención o programa • Implementación: coordinación con la operación del programa, tiempos • Relevancia: en cumplimiento de objetivos por el cual fue creada y en arrojar resultados oportunos • Escalabilidad y sostenibilidad: uso de los resultados de la evaluación para ajustar el programa y escalarlo • Difusión de información y resultados que genere conocimiento • Vínculo de estrategias complementarias con objetivos comunes: generación de ingresos, movilización comunitaria, inclusión financiera formal, uso de tecnología

21. Lecciones aprendidas • Metodología: • De bajo costo • Ajustada a la realidad del programa manteniendo la rigurosidad metodológica • Uso de tecnología para agilizar su implementación • Uso y entrenamiento de capacidad local • Utilización de plataformas existentes de programas sociales para probar intervenciones pequeñas y de bajo costo con impactos significativos en el comportamiento de los individuos • Trabajo conjunto: alianzas entre varios actores en el diseño, operación, financiación y evaluación de programas e intervenciones