1 / 42

EVALUACION DE PROGRAMAS METODOLOGIAS

EVALUACION DE PROGRAMAS METODOLOGIAS. ILPES-CEPAL INDETEC Curso Internacional “Políticas presupuestarias y gestión pública por resultados” Mazatlán. México, Octubre de 2006 Marianela Armijo. EVALUACION.

maleah
Télécharger la présentation

EVALUACION DE PROGRAMAS METODOLOGIAS

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. EVALUACION DE PROGRAMAS METODOLOGIAS ILPES-CEPAL INDETEC Curso Internacional “Políticas presupuestarias y gestión pública por resultados” Mazatlán. México, Octubre de 2006 Marianela Armijo

  2. EVALUACION “Proceso de medición sistemática y continua de los resultados obtenidos de un programa, proyecto, política y la comparación de esos resultados con estándares u objetivos previamente definidos “ OCDE. “Un estudio en profundidad, que se realiza en un tiempo definido y en el cual se utilizan instrumentos de investigación en forma sistemática y analítica, para generar un juicio sobre el valor de una intervención.....…”Evaluación del Gasto de Programas en la Unión Europea. Comisión Europea “Conocimiento para la acción” Mejores Prácticas para la Evaluación. Public Management Public

  3. OBJETIVOS DE LA EVALUACION APOYAR EL PROCESO DE TOMA DE DECISIONES • INFORMACION SOBRE IMPACTO DE LAS • POLITICAS • AYUDA A VALORAR LA CONTRIBUCION PUBLICA DE LAS ACCIONES GUBERNAMENTALES EN LA EJECUCION DE POLITICAS Y PROGRAMAS MEJORAR EL RESULTADO DE LAS INTERVENCIONES PUBLICAS

  4. INTERVENCIONES PUBLICAS (CATEGORIAS) POLITICAS PROGRAMAS OPERATIVO (ENTIDADES QUE EJECUTAN PROGRAMAS Y PROVEEN BIENES Y SERVICIOS)

  5. ETAPAS DEL PROCESO DE EVALUACION EX -ANTES ETAPAS Diseño de Programas y Proyectos OPERATIVA Ejecución del Programa o Proyecto, Productos, Servicios EX-POST Medición del desempeño o Impacto

  6. EVALUACION GUBERNAMENTAL EX POST DISEÑO Y FORMULACIÓN DE POLÍTICAS Y PROGRAMAS EVALUACION TOMA DE DECISIONES POLITICAS, PROGRAMAS DESEMPEÑO, GESTION EJECUCIÓN E IMPLEMENTACIÓN

  7. EVALUACION Y GESTION POR RESULTADOS

  8. TIPOS DE EVALUACIONES: CHILE • Evaluaciones de Programas Gubernamentales (EPG) • Evaluación de consistencia en diseño, gestión y resultados • Basado en la metodología de marco lógico • Realizadas por paneles de 3 expertos independientes, seleccionados por concurso público • Informe Final en 6 meses • Evaluación de Impacto (EI) • Evaluación de los resultados finales de programas en base a mediciones de impacto • Metodología considera recolección de datos, técnicas de medición más sofisticadas (“Matching”, LATE), grupos de control • Realizadas por consultoras privadas, universidades, seleccionadas a través de licitación pública • Informe Final en 1-1/2 años • Evaluación Comprehensiva del Gasto (ECG) • Evaluación del diseño y gestión institucional y resultados y uso de recursos en la provisión de los productos estratégicos. • Se evalúa la posible existencia de duplicidades, inconsistencias, oportunidades para generar sinergías y ahorros

  9. EVALUACION DE PROGRAMAS • OBJETIVOS DE LA EVALUACION • METODOLOGIA • USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO

  10. OBJETIVOS DE LA EVALUACION • Apoyarla gestión, el análisis y toma de decisionesde asignación de recursos públicos. • Mejorar la gestión a través del aprendizaje institucional de los administradores o encargados de implementar las políticas y programas • Generar aprendizajes derivados del desarrollo de la evaluación y análisis de los resultados, contribuyendo así al objetivo de eficiencia operacional del sistema presupuestario. • Contribuir a la transparencia y accountability o rendición de cuentas.

  11. Ambitos de la evaluación • Justificación del Programa • Diseño. • Organización y Gestión.. • Resultados: Eficacia, Eficiencia, Economia, Calidad • Sostenibilidad/Continuidad. • Conclusiones y Recomendaciones.

  12. Metodología: Marco Lógico

  13. RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS FONDO DE PROMOCIÓN DE EXPORTACIONES (FPE) – PROCHILE (evaluación año 2002) DESCRIPCIÓN El FPE financia proyectos y actividades de promoción de exportaciones que permiten aumentar y diversificar la oferta exportable y elevar el valor agregado de los bienes y servicios producidos en Chile, además de promover el desarrollo exportador de las regiones y ampliar las oportunidades de exportación de las pequeñas y medianas empresas. RESULTADOS Y EFECTOS El FPE ha ha beneficiado a más de 2.500 empresas en el período 1996-2001 a través del cofinanciamiento de proyectos de promoción de exportaciones. La evaluación no muestra resultados significativos del programa sobre el volumen de exportaciones o el nivel de las ventas de las empresas beneficiarias respecto de aquellas del grupo de control. Sobre la base de los hallazgos de la evaluación, el presupuesto se redujo para el año 2004, incluyéndose también una reestructuración de las partidas presupuestarias y la elaboración de compromisos en materia de gestión interna para asegurar un mejor desempeño. USO DE LA EVALUACION DE PROGRAMAS

  14. UTILIZACION DE LA EVALUACION DE PROGRAMAS EN EL PRESUPUESTO Y EN EL MEJORAMIENTO DE LOS PROGRAMAS

  15. Costo de la evaluación

  16. Evaluación Comprehensiva del Gasto

  17. Objetivos • Evaluar el diseño institucional, la gestión de los procesos claves, y losresultados y uso de recursos en la provisión de los productos estratégicos (bienes y servicios). • Utiliza como información base las prioridades gubernamentales, las definiciones estratégicas institucionales, las estadísticas de los beneficiarios/usuarios/clientes respectode cada uno de los productos estratégicos, los indicadores que dan cuenta del desempeñode éstos, y los gastos asociados a la provisión de dichos productos. • .

  18. Modelo de Evaluación Comprehensiva del Gasto Sistema de Control de Gestióny Presupuestos por Resultados. La Experiencia Chilena. 2005 www.dipres.cl

  19. EVALUACION DE IMPACTO

  20. ESTRUCTURA DE LA EVALUACION DE IMPACTO: CASO CHILE • INTEGRAN LA EVALUACION DE LOS RESULTADOS DE CORTO, MEDIANO Y LARGO PLAZO DE LOS PROGRAMAS (EFICACIA), CON LOS PRINCIPALES ASPECTOS DE EFICIENCIA Y ECONOMIA EN EL USO DE LOS RECURSOS.

  21. PREGUNTAS QUE SE HACE LA EVALUACION DE IMPACTO • Efectos de mediano y largo plazo sobre la población beneficiaria que espera obtener el Programa • ¿Cuáles serán los beneficios con que quedará la población beneficiaria una vez que concluya su participación en el programa? • Incremento en el nivel de remuneraciones • Reducción de la tasa de morbilidad de menores beneficiados con un programa de vacunación • Aumento del rendimiento escolar de los alumnos participante en un programa de reforzamiento educativo

  22. OBJETIVOS • Conocer si el programa produjo los efectos deseados en los beneficiarios. • Conocer si los cambios observados en los beneficiarios, pueden asociarse a los efectos del programa (causalidad). • ¿Cómo debiera mejorarse el programa para maximizar sus beneficios en las variables de impacto?

  23. METODOLOGIAS • Diseño experimental tradicional y aleatorio • Método de doble diferencias • Métodos de comparaciones Pareadas (matching) • Selección de modelos ( variables instrumentales) • Evaluaciones cualitativas

  24. METODOLOGIAS • Requiere de la aplicación de técnicas, que permitan conocer lo que habría ocurrido en caso de que el programa no se hubiese puesto en marcha. • Identificar las VARIABLES QUE DEBEN SER MEDIDAS para determinar si el Programa ha generado realmente los beneficios o resultados finales o impacto esperados

  25. El impacto del programa es: La diferencia en la variable resultado (Y) que registra el individuo (i) con y sin la intervención del programa αi = Y1i− Yoi αi es el impacto del programa (tratamiento) sobre la persona i, Yoies resultado potencial que registraría el individuo i sin el tratamiento, Y1ies el resultado potencial que registraría el individuo i con el tratamiento.

  26. Problema fundamental de identificación • No es posible observar Yoi e Y1i, para un mismo individuo en un momento del tiempo. • Un individuo i en un momento del tiempo puede presentar solo uno de los dos estados posibles: • Intervención en el programa • No intervención en el programa

  27. Problemas metodológicos de la medición • Medir el impacto esperado o promedio del programa sobre el conjunto de los individuos. • Sesgo de selección: Selección de los individuos que participan en el programa responde a ciertos criterios de focalización u otros. Programa de Capacitación, Ingresos beneficiarios menores antes de la capacitación. En ausencia del Programa los ingresos potenciales de los beneficiarios serán menores a los de los no beneficiarios en el mismo período

  28. METODOLOGIAS • Se requiere disponer de información para el llamado grupo de control o de comparación. • Estos grupos deben seleccionarse de manera aleatoria, de la misma población de la que provienen los participantes. • Ambos grupos deben tener las mismas características

  29. METODOLOGIAS • Un grupo de control es básicamente un segmento de no beneficiarios que son parte de la poblaciónobjetivo, es decir, un grupo que comparte lascaracterísticas sociales, económicas, educacionales, etc, del grupo beneficiario. (dos grupos estadísticamente idénticos entre sí) • La única diferencia entre los individuos del grupo de control y los beneficiarios efectivos debe ser su participación en el programa.

  30. Diseño experimental o aleatorio • Aislar los efectos que tienen sobre la variable resultado (Y) factores externos al Programa • Selección de individuos beneficiarios del programa sea independiente de sus resultados potenciales. Selección aleatoria de los individuos que se beneficien del programa • La medición de impacto consiste en cuantificar, una vez transcurridoel tiempo pertinente de intervención del programa, la(s) variable(s) de impacto,tanto para el grupo de tratamiento y como para el grupo de control – en ambossimultáneamente y para el mismo período de tiempo – para luego analizar lasdiferencias que existen entre ambos.

  31. Grupo de control aleatorio entre la población de individuos elegibles, garantizándose que en el inicio ambos grupos son estadísticamente iguales en términos de sus características como de sus respectivas distribuciones

  32. Diseño experimental o aleatorio n1=número de individuos en el grupo de tratamiento N0=número de individuos en el grupo de control. Principal distorsión: posibles cambios del grupo de control Durante el período de evaluación (abandono área geográfica en ese lapso=Grupo de control contaminado. Viabilidad política de excluir de la cobertura de un programa aleatoriamente a un grupo de beneficiarios elegibles y como tal necesitan los beneficios del programa

  33. Diseño cuasi experimental Selección de beneficiarios no es aleatoria, se basa en criterios de elegibilidad y focalización que establecen diferencias observables como no observables, entre el grupo de tratamiento y los no beneficiarios (grupo de control) Diferencias observables: responden a los criterios de selección del programa Diferencias no observables: características de la población que afectan su participación pero para la cual no hay información (habilidad individual, voluntad de participar, procesos subjetivos y no formales que determinan que una persona acceda a los beneficios del programa

  34. Diseño cuasi experimental El impacto del programa no podrá ser estimado a través de la simple diferencia de medias entre la variable resultado del grupo de tratamientoy el grupo control ya que las diferentes característicasobservables y no observables de los beneficiarios y no beneficiarios implicarála existencia de sesgo de selección, la medición del impacto del programa resultará sesgada. Solución: diseño cuasi-experimental,que permita controlar por las distintas características que posee el grupo debeneficiarios del programa (tratamiento) respecto de los no beneficiarios (grupo control) que pudiesen afectar el resultado o impacto del programa.

  35. Metodología Construcción de dos escenarios. Un escenario prefactual,es decir,la identificación y medición de las condiciones del grupo debeneficiarios y no beneficiarios (control) antes de la ejecución delprograma(construcción de la línea de base o situación sinprograma) y un escenariocontrafactual, que implica la medicióndel cambio en las condiciones del grupo beneficiario y grupocontrol, de modo de estimar lo ocurrido como consecuencia directade la intervención del programa. • ¿Cuál sería la situación actual de estos beneficiarios si no hubieran participadoen el programa?, comparando los resultados finales del programa en losbeneficiarios con respecto a un grupo de no beneficiarios de característicassimilares (grupo control), de modo de aislar los efectos de otros factoresexternos al programa?

  36. Condiciones • Existencia de una base de datos (o varias bases que permitan formar unacomún) de beneficiarios y no-beneficiarios, que contenga para ambos gruposinformación sobre los criterios de elegibilidad del programa: • Condición socioeconómica, tamaño de la familia, escolaridad, ubicacióngeográfica o cualquier otra característica que se haya utilizado para seleccionara los beneficiarios) e información sobre las variables que permitirán medir losresultados finales o impactos esperados de la intervención (por ejemplo: nivelde ingresos, condición laboral, nivel de salud, etc.).

  37. Cómo opera la metodología • Una vez construidos los grupos control y de tratamiento, y teniendoobservaciones de las variables de resultados y las variables que caracterizan alindividuo y su entorno en dos momentos del tiempo (antes y después de laintervención del programa), por lo general se cuantificará el impacto del programa a través de la estimación econométrica del siguiente modelo, dondeel estimador del parámetro α ( αˆ ) corresponde al impacto del programa:

  38. Método de doble diferencia • Y = variable resultado para el individuo i en el período t. • TRi= variable igual a 1 si individuo i pertenece al grupo de tratamiento y 0 si • pertenece al grupo control. • Pei= variable igual a 1 si el dato de la variable resultado para el individuo i • pertenece al período post-programa y 0 de lo contrario. • Xit= conjunto de variables que caracterizan la individuo y su entorno. • εit= término de error aleatorio El impacto promedio del programa se estimaprimero midiendo el cambio en las variables de resultado experimentado por cada grupo, o más precisamente por sus muestras, entre la línea base y laencuesta de seguimiento (primera diferencia), y luego comparando el cambiomostrado por el grupo de beneficiarios con el registrado en el grupo de nobeneficiarios (segunda diferencia).

  39. Metodologías cualitativas • Evaluación participativa: incorpora a ls beneficiarios en el diseño, la ejecución y la evaluación de un programa. • Focus group • Entrevistas a informantes claves

  40. RESULTADOS DE EVALUACIÓN DE PROGRAMAS Y SUS EFECTOS PROGRAMA DE SALUD BUCAL – JUNAEB (evaluación año 2004) DESCRIPCIÓN El programa de atiende a estudiantes de enseñanza básica de escuelas subvencionadas vulnerables para mejorar su salud bucal mediante acciones clínicas y educativo-preventivas. RESULTADOS Y EFECTOS La cobertura de la Atención Odontológica Integral en el año 2003 alcanzó al 8% de la población objetivo. Un análisis más específico para la cohorte de 6 años de edad muestra que el sector público atiende al 69% de los niños de esta edad, de los cuales el 49% es atendido en los módulos del programa, lo que se evalúa positivamente. El índice COP-D (C: caries; O: Obturados y P: perdidos) muestra que las caries entre el ingreso y el alta de los escolares atendidos en el módulo dental en primer año básico disminuyen en 98% en el año 2003. Como resultado de la evaluación, el Presupuesto 2005 considera un incremento de cobertura del programa en relación a acciones educativas, preventivas y curativas de atención dental. USO DE LA EVALUACION Y CONSECUENCIAS PARA EL PRESUPUESTO VARIABLES DE IMPACTO

More Related