Evaluación Multicriterio Departamento Nacional de Planeación

2. Evaluación Multicriterio Departamento Nacional de Planeación Dirección de Inversiones y Finanzas Públicas Bogotá, Octubre 4 de 2011 NOTA: Tanto la información como los ejemplos que aparecen en esta presentación fueron sustraídos del documento: “PACHECO Juan Francisco, CONTRERAS Eduardo. Manual metodológico de evaluación multicriterio para programas y proyectos. Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES); Santiago de Chile, julio de 2008”

3. El concepto de evaluación multicriterio La evaluación de proyecto se centra básicamente en la TOMA DE DECISIONES ENCONTRAR LA SOLUCIÓN ÓPTIMA PRECISA Se puede conocer la información necesaria para la toma de decisiones a través de la su cuantificación y aplicación de criterios únicos. Pero existe el riesgo de dejar por fuera efectos intangibles que pueden ser incluso más relevantes que los cuantificados. SOLUCIÓN: Incorporar variables cualitativas que pesan en las decisiones de los agentes. Incorporar procesos de toma de decisión que son crecientemente grupales. COMPLEMENTO A LA EVALUACIÓN FINANCIERA, ECONÓMICA Y SOCIAL

4. El concepto de evaluación multicriterio • ¿POR QUÉ LA EVALUACIÓN MULTICRITERIO? • Incorpora en la evaluación y priorización métodos basados en criterios de evaluación relacionados con múltiples objetivos en una métrica común. • Trabaja con varios criterios a la vez identificando la importancia relativa de cada uno. • Evalúa entre diferentes alternativas con diferente naturaleza de factores implícitos en una situación específica. • Puede manejar diferentes métodos de comparación (simples o complejos- cuantitativos, cualitativos mixtos)

5. El concepto de evaluación multicriterio • ¿EN QUÉ MOMENTO SE PUEDE APLICAR LA EVALUACIÓN MULTICRITERIO? • “Durante todo el ciclo de vida del proyecto” • En la identificación para el análisis de objetivos. • En la identificación de las alternativas de solución involucrando criterios cualitativos. • En los estudios de prefactibilidad y factibilidad cuando los costos del desarrollo de las alternativas son difíciles de cubrir. • En la priorización de proyectos a ser financiados. Contribuye a mejorar la transparencia en la asignación de recursos. • Durante la ejecución para eliminar arbitrariedad y generar mayor participación.

6. Métodos de comparación • MÉTODOS CUANTITATIVOS • Capturan una realidad estática y objetiva estudiando las relaciones entre variables cuantitativas. • MÉTODOS SIMPLES - Indicadores económicos • Desventaja: No cuentan con suficiente información. Excluye criterios que no pueden expresarse en términos monetarios. • MÉTODOS COMPLEJOS - Programación Lineal (suma VAN) • - Dominancia entre proyectos (condiciones de incertidumbre)

7. Métodos de comparación • MÉTODOS CUALITATIVOS • Mide la relación entre variables cualitativas, otorgando una evaluación integral, pues complementa la evaluación cuantitativa. Puede tener capacidad de cuantificación si se le asigna valor a sus atributos. • MÉTODOS SIMPLES - Lista de verificación (Escalas) • Aporte a metas (Ponderación sobre meta total) • Q-sorting (interacción nominal) • MÉTODOS COMPLEJOS - Método Delphi (Predicción de eventos en situación de incertidumbre) • MÉTODOS MIXTOS - Modelos de puntuación • - AHP (AnaliticHierarchyProcess)

8. Métodos de evaluación multicriterio PROCESO DE DECISIÓN Se requiere una herramienta de decisión eficaz, por ello, entre más elementos de análisis, el proceso es más adecuado. DECISIÓN COMPARA ELEMENTOS MEDICIÓN La evaluación multicriterio integra factores diversos en el proceso de evaluación • Individuales • Grupales • Variables tangibles • Variables intangibles • Problemas públicos • Problemas privados Complejidad en la toma de decisiones

9. Métodos de evaluación multicriterio • PASOS PARA LA APLICACIÓN DE TOMA DE DECISIONES • Definir criterios y restricciones • Definir tipos de variables (Discretas, continuas) • Modelamiento de las preferencias • Optimizar por separado cada objetivo • Asignar pero a cada objetivo y encontrar una sola solución • Definir si es un modelo determinístico o aleatorio: • Simuladores • Análisis probabilístico • Definir métodos de agregación • Juicio de expertos • Factor analysis • Escalonamiento multidimensional • AHP • Otros

10. Métodos de evaluación multicriterio CLASIFICACIÓN DE LAS TÉCNICAS MULTICRITERIO Se clasifican de acuerdo a cómo fluye la información entre los actores. TÉCNICAS SIN INFORMACIÓN A PRIORI Flujo del analista al decisor (método de ponderaciones) TÉCNICAS CON INFORMACIÓN A PRIORI Flujo del decisor al analista y depende el número de alternativas (Métodos de agregación-función de valor- jerarquía y métodos basados en relaciones de orden- Métodos de superación- comparación con relaciones binarias) TÉCNICAS INTERACTIVAS Combinación de las dos anteriores

11. Métodos de evaluación multicriterio • CONSTRUCCIÓN DE JERARQUÍAS • Las jerarquías están compuestas por los siguientes niveles: • Características: • Específicas (Evaluadas con los mismos criterios y ponderaciones) • Permanentes en el tiempo (seguimiento) • Pueden ser esquematizadas FOCO FOCO Rige toda la evaluación Elementos que definen el objetivo principal CRITERIOS CRITERIOS Elementos que definen el criterio debajo del cual ellos se encuentran SUBCRITERIOS Soluciones o cursos de acción ALTERNATIVAS

12. Métodos de evaluación multicriterio Las jerarquías se organizan bajo la siguiente estructura:

13. Métodos de evaluación multicriterio MÉTODO SENCILLO DE ESTANDARIZACIÓN 01-Z Identifica la importancia relativa entre criterios e integrar una variedad de indicadores cuantitativos como cualitativos. Se distingue por el uso de una matriz de comparaciones de criterios y el uso de la herramienta estadística Z (Homogeniza las escalas de medida). Procedimiento para aplicar el método: Paso 1: Identificar el objetivo Paso 2: Identificar los criterios cuantitativos y cualitativos Paso 3: Estandarizar la medida de los criterios (Media y desviación estándar) Paso 4: Estandarizar los datos (Distribución normal) Paso 5: Integrar los criterios en uno solo y elegir el mejor. (1-0) Paso 6: Conocer las ponderaciones de los criterios Paso 7: Hallar la ponderación de cada alternativa y totalizar

14. Métodos de evaluación multicriterio MÉTODO SENCILLO DE ESTANDARIZACIÓN 01-Z Ejemplo: Paso 1: Objetivo: Mejorar la educación en una zona geográfica. Paso 2: Criterios e indicadores: Paso 3: Estandarización de indicadores:

15. Métodos de evaluación multicriterio Paso 4: estandarizar datos: Paso 5: Integrar los criterios (0-1): Paso 6: Ponderación de criterios: Paso 7: Hallar ponderación y totalizar:

16. Métodos de evaluación multicriterio • MÉTODO DE PROCESO ANALÍTICO JERÁRQUICO AHP • Consiste en la descomposición de estructuras complejas por sus componentes organizados jerárquicamente y ase cuantifica a través de juicios de preferencia. • Ordena el pensamiento analítico de acuerdo a 3 principios: • Construcción de jerarquías • Establecimiento de prioridades • Consistencia lógica

17. Métodos de evaluación multicriterio MÉTODO DE PROCESO ANALÍTICO JERÁRQUICO AHP Construcción de jerarquías: Aplicar el esquema: FOCO CRITERIOS SUBCRITERIOS ALTERNATIVAS

18. Métodos de evaluación multicriterio • MÉTODO DE PROCESO ANALÍTICO JERÁRQUICO AHP • Establecimiento de prioridades: • Comparación a pares con respecto a un criterio dado: «Escala de Intensidades de Preferencias» • Tipos de preferencias: • Importancia • Preferencia • Más probable

19. Métodos de evaluación multicriterio MÉTODO DE PROCESO ANALÍTICO JERÁRQUICO AHP Principio de consistencia lógica: Establecimiento de relaciones entre objetivos CONSISTENCIA = TRANSITIVIDAD + PROPORCIONALIDAD Respeto a las relaciones de orden entre elementos Las proporciones deben estar dentro de un margen de error permitido

20. Métodos de evaluación multicriterio • MÉTODO DE PROCESO ANALÍTICO JERÁRQUICO AHP • Ventajas del AHP: • Esta metodología es una herramienta de apoyo a la toma de decisiones que permite: • Definir el problema que se desea resolver. • Identificar los criterios discriminantes en la toma de decisiones. • Trabajar con un equipo multidisciplinario. • Estructurar los criterios y subcriterios en una jerarquía. • Determinar la importancia de cada criterio en términos de ponderadores y sintetizar toda esta información para tomar la mejor decisión. • Llegar a un resultado en consenso.

21. Proceso para la evaluación multicriterio

22. Aplicación del Proceso Analítico Jerárquico- AHP Analytic Hiearchy Process (AHP)*: AHP Escala de Medición • Facilidad de Uso • Permite Rápida Replaneación • Incorpora Factores Cualitativos y Cuantitativos • Consistente Medición de Desempeño • Comparación por Pares • Uso de las Escalas de Medición del AHP • AHP • Metas • Criterios • Escala de Medición • Alternativas 1 Igualmente Preferida 3 Moderadamente Preferida 5 Fuertemente Preferida 7 Muy Fuertemente Preferida 9 Extremadamente Preferida * T.L. Saaty, The Analytical Hierarchy Process, New York, MacGraw Hill.

23. Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (1): • Objetivo: Seleccionar entre tres programas educativos (T1, T2 y T3) • Criterios: • Costo • Confiabilidad • Disponibilidad • Costo: T1($100/hora); T2($90/hora); T3($125/hora) • T2 es moderadamente preferido a T1 • T1 está entre fuerte y muy fuertemente preferido a T3 • T2 es muy fuertemente preferido a T3

24. T1 T2 T3 T1 T2 T3 Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (2): • Se construye la matriz de preferencias con respecto del COSTO; se califica basados en la escala de medición:

25. T1 T2 T3 T1 T2 T3 T1 T1 T2 T2 T3 T3 Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (3): • Se construye la matriz normalizada del criterio COSTO, dividiendo cada término de la matriz de preferencias entre la suma de su columna:

26. T1 T2 T3 T1 T1 T2 T2 T3 T3 Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (4): • Se obtiene el vector de prioridad del criterio COSTO, promediando cada fila de la matriz normalizada: Vector de prioridad del criterio COSTO

27. Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (5): • Se sigue el mismo procedimiento para los demás criterios. • Criterio CONFIABILIDAD: • T1 es muy fuertemente preferido a T2 • T1 es igual a moderadamente preferido a T3 • T2 es fuertemente preferido a T3 T1 T2 T3 T1 Matriz de preferencias con respecto del criterio CONFIABILIDAD: T2 T3

28. T1 T1 T2 T2 T3 T3 Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (6): • Se sigue el mismo procedimiento para el criterio CONFIABILIDAD: T1 T2 T3 Vector de prioridad del criterio CONFIABILIDAD

29. T1 T2 T3 T1 T2 T3 Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (7): • Criterio DISPONIBILIDAD: • T1 está entre muy fuerte y extremadamente preferido a T2 • T1 es igualmente preferido a T3 • T3 está entre muy fuerte y extremadamente preferido a T2 Matriz de preferencias con respecto del criterio DISPONIBILIDAD:

30. T1 T1 T2 T2 T3 T3 Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (8): • Se sigue el mismo procedimiento para el criterio DISPONIBILIDAD: T1 T2 T3 Vector de prioridad del criterio DISPONIBILIDAD

31. Disponibilidad Confiabilidad Costo Costo Confiabilidad Disponibilidad Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (9): • Se sigue el mismo procedimiento para los CRITERIOS. • El COSTO es muy fuertemente preferido a la CONFIABILIDAD • El COSTO es extremadamente preferido a la DISPONIBILIDAD • La CONFIABILIDAD es muy fuertemente preferida a la DISPONIBILIDAD Matriz de preferencias de los CRITERIOS:

32. Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (10): • Se sigue el mismo procedimiento para los CRITERIOS: Disponibilidad Confiabilidad Costo Costo Confiabilidad Disponibilidad Vector de prioridad de los CRITERIOS

33. Disponibilidad Confiabilidad Costo T1 T1 T2 T2 T3 T3 Aplicación del Proceso Analítico Jerárquico- AHP Ejemplo de aplicación del AHP (11): • Finalmente, se forma una matriz con los vectores de prioridad de los tres criterios y se multiplica por el vector de prioridad de criterios: Vector de prioridad de los TRANSPORTISTAS

34. GRACIAS Departamento Nacional de Planeación Dirección de Inversiones y Finanzas Públicas www.dnp.gov.co Teléfono: (1) 3815000 ext. 3300