Luis García Núñez Profesor Asociado Pontificia Universidad Católica del Perú

1. Luis García Núñez Profesor Asociado Pontificia Universidad Católica del Perú

2. Introducción

3. El impacto social de un programa se define como el efecto sobre los miembros de una población o comunidad específica. La educación juega un rol importante en la sociedad al incrementar las oportunidades. Aunque el crédito educativo por si mismo no es capaz de solucionar las profundas desigualdades sociales de nuestros países, es un medio para aliviar tales diferencias.

4. De esta forma, el impacto social del crédito educativo es justamente su capacidad de crear nuevas oportunidades de desarrollo personal para estudiantes menos favorecidos. Nuevas oportunidades se crean cuando: Los jóvenes logran culminar estudios superiores. Lo hacen en menos tiempo. Obtienen el máximo provecho de sus estudios (buen rendimiento).

5. Por esta razón, el enfoque que daremos al impacto social del crédito será en el estudio del impacto del crédito sobre los 3 resultados académicos mencionados. El caso de la PUCP no permite analizar el impacto a nivel macroeconómico pues su magnitud es limitada para el resto de la sociedad.

6. Objetivos Generales de la Evaluación de Impacto

7. Los estudios de evaluación de impacto nacen de la necesidad de proveer una medición objetiva, certera y cuantitativa del efecto de un programa específico. Para este objetivo se apoya en herramientas estadísticas y econométricas, aplicadas a la problemática particular en estudio.

8. ¿Por qué es importante la evaluación del impacto de programas? Permite evaluar la eficacia de los mismos (el logro de los objetivos). Ayuda a identificar problemas en el programa. Da sugerencias para su modificación, ya sea en el programa como en sus propias metas.

9. Los resultados pueden ser múltiples. Algunos de ellos son buscados por el programa. Otros podrían ser efectos no deseados. Resultados Tratamiento (Programa) Y1 Y2 X Y3   

10. Normalmente antes de empezar algún programa se tiene una idea de los resultados esperados. La evaluación del impacto consiste en ver si los valores “Y” han variado en comparación con una situación de ausencia del programa.

11. El Programa de Crédito Educativo

12. Antes de estudiar la evaluación del impacto de crédito sobre las personas, se debe definir al programa y a sus resultados esperados. Los Programas de Crédito Educativo suelen ser heterogéneos. Programas basados en el mérito. Programas basados en necesidades económicas. Basados en mérito y necesidades económicas.

13. En el caso de la PUCP, los requisitos y criterios del programa de préstamo han ido variando en el tiempo. Sin embargo, en esencia siempre fue un programa orientado a estudiantes con problemas económicos y buen rendimiento académico.

14. ¿En qué consisten los programas de crédito? En términos generales, se trata de una ayuda económica (préstamo) a alumnos seleccionados durante el periodo de estudios. Una vez finalizados los estudios los beneficiarios devuelven el préstamo con las tasa de interés y plazos convenidos.

15. En algunos casos la devolución del préstamo empieza antes de terminar los estudios universitarios. En otros casos la devolución empieza luego de un periodo de gracia. Los préstamos pueden ir acompañados de donaciones (caso del antiguo préstamo integral PUCP). Las tasas de interés suelen variar.

16. ¿Cuáles son los objetivos del programa? La definición clara de los objetivos es un paso crucial en la evaluación del impacto. Es posible que las metas estén vagamente definidas o sean totalmente implícitas. Tal es el caso de la PUCP en el inicio del programa.

17. En el periodo que vamos a analizar solo se define al programa como una ayuda para estudiantes con problemas económicos que dificultaran notablemente sus estudios. Se pueden inferir varias ideas: El programa buscaría que sus beneficiarios concluyan sus estudios universitarios.

18. Además que estos estudios no se extendieran demasiado Quizás buscaría que el rendimiento de los estudiantes no se vea muy afectado por la dificultad económica. Entonces, una primera dificultad de la evaluación de impacto de este programa es verificar si estos objetivos eran realmente los que se buscaban.

19. Lo ideal sería que los programas tuvieran metas expresadas cuantitativamente Por ejemplo, incrementar en X% el porcentaje de alumnos que culminan sus estudios. Desafortunadamente, es frecuente que los programas no sean tan explícitos.

20. ¿A quién va dirigido este programa de crédito educativo? Es importantísimo saber cuál es la verdadera población objetivo del programa de crédito. Es necesario delimitarla para evaluar el logro del programa en tal grupo. Sería un error evaluar el éxito del programa en un grupo que no es el objetivo.

21. Nuevamente, es frecuente que los programas no definan muy claramente a su población objetivo. En el caso PUCP, el objetivo del programa a su vez definía a su población: aquellos estudiantes con problemas económicos, los cuales dificultaran notablemente sus estudios. ¿A qué llamamos “problema económico”? ¿A qué se refiere con “dificultar notablemente” a sus estudios?

22. No definir claramente a estas categoría hace que el público objetivo tenga fronteras difusas. En el caso PUCP, en sus primeras décadas, se definió al grupo objetivo como: Estudiantes con problemas económicos, y Estudiantes que tuvieran un rendimiento académico “suficiente”. Aquellos que cumplieran con estos requisitos podían solicitar el beneficio del préstamo universitario.

23. Puesto que para la práctica se necesitaba umbrales más concretos, se tomó como referencia lo siguiente: Estudiantes con problemas económicos son aquellos con ingresos familiares por debajo de cuatro Remuneraciones Mínimas Vitales. Estudiantes con rendimiento académico suficiente son aquellos que tienen una nota mínima de 12 puntos de promedio (en una escala de 0 a 20).

24. Adicionalmente se solicitaba un informe académico a la facultad de origen, el cual daba una opinión sobre las aptitudes y motivaciones del estudiante. Pese a estas precisiones, en el periodo que analizaremos existió un cierto grado de “discrecionalidad” en cuanto a la asignación del beneficio. Aparentemente, esto se debió a que la situación económica y académica de los estudiantes responde a numerosas variables determinantes.

25. ¿Qué resultados esperamos del programa? Hemos planteado 3 posibles resultados del programa, los cuales serán sometidos a prueba. Estos resultados son las hipótesis del estudio. Un primer impacto es una reducción en el número de semestres estudiados. Con el crédito educativo, el estudiante podría matricularse en más cursos y podría dejar de trabajar.

26. El segundo es un impacto es un incremento en la probabilidad de culminar los estudios universitarios. Contar con el crédito podría evitar la interrupción de los estudios por motivos económicos. Un tercer impacto sería sobre el rendimiento. No es muy claro el efecto sobre el rendimiento de los estudiantes beneficiarios.

27. Por un lado, al recibir el crédito esto les permitiría mayor tiempo para estudiar al no tener que trabajar. Entonces se elevaría el rendimiento (en comparación con una supuesta etapa previa de rendimiento mediano o bajo). Por otro lado, obtener el préstamo requiere de un esfuerzo previo del estudiante para demostrar que tiene un rendimiento “suficiente”. Una vez obtenido el préstamo, tal esfuerzo podría decaer.

28. Por último, el rendimiento antes y después del préstamo podría no variar si el crédito justamente ha logrado aliviar los problemas del alumno. Así habría evitado una posible caída de este rendimiento dejándolo en su nivel “normal”.

29. Sesión 2 – Metodología Luis García Núñez Profesor Asociado Pontificia Universidad Católica del Perú

30. Metodología de Evaluación del Impacto del Crédito Educativo

31. El problema fundamental de la evaluación de impacto Conocer si el programa tuvo o no impacto en los estudiantes requiere de una estrategia de comparación: Se compara: El desempeño del estudiante sujeto al programa El desempeño del mismo estudiante en ausencia del programa.

32. Es decir se compara lo que ocurrió versus lo que hubiera ocurrido sin el programa (la situación contrafactual). El efecto del programa sería el promedio de la diferencia de estos resultados. Problema Fundamental de la Evaluación de Impacto: El resultado contrafactual nunca es observado.

33. No es posible volver en el tiempo y ver que hubiera ocurrido con un estudiante si no se hubiera beneficiado del crédito educativo. Solución: Se busca un grupo de comparación. Este grupo debería ser una aproximación del escenario contrafactual.

34. No cualquier grupo de estudiantes puede ser utilizado como grupo de comparación o “grupo de control”. Para que la comparación sea válida, los grupos beneficiarios del crédito y de control deben tener características similares. Por ejemplo, el ingreso de las familias, la educación de los padres, el rendimiento académico de los alumnos, y otras variables tienen que ser parecidas entre los dos grupos (el grupo de beneficiario y el grupo de control).

35. ¿Cómo conseguir a un grupo de control? Un primer candidato podría ser el grupo de “no beneficiarios” del crédito educativo. Si el programa hubiera sido asignado al azar (mediante un sorteo, por ejemplo) entre todos los estudiantes, entonces el grupo de no beneficiarios podría ser usado como el escenario contrafactual.

36. Pero si no fue asignado al azar, nada garantiza que los grupos de beneficiarios y no beneficiarios sean comparables. Ambos grupos podrían presentar diferencias notables en cuanto a la situación económica, social y cultural de las familias, etc. Si se comparan resultados en grupos disímiles, (por ejemplo, con diferente educación de los padres), el “impacto” del programa podría deberse a las diferencias en la educación de los padres y no al programa mismo.

37. Experimentos Sociales Digamos que la asignación al azar es el caso “paradigmático” cuando se utiliza la estrategia de comparación. Se pueden conseguir datos de este tipo cuando se realizan “experimentos sociales”. En este tipo de experimentos se definen intencionalmente al azar a grupos de beneficiarios y controles con el fin de evaluar el impacto.

38. Sin embargo, este tipo de metodologías de experimentos tienen problemas de orden ético. También tienen problemas en cuanto a su implementación (los estudiantes no deberían darse cuenta que están siendo sujetos a un experimento). Este tipo de técnica no es la que hemos usado.

39. El Método de Pareo (matching) Este método busca simular la situación contrafactual a partir de un subgrupo de personas no beneficiadas. De este grupo de no beneficiarios se seleccionan a aquellos que tengan características muy similares a los beneficiarios.

40. Beneficiarios No Beneficiarios

41. Luego se comparan los resultados obtenidos en el grupo beneficiario y el grupo de control. Una ventaja de este método es que permite la evaluación del programa de una manera fácil y estadísticamente confiable. Lo único sofisticado es encontrar al grupo de control.

42. Otras estrategias de comparación que podrían ser utilizadas El diseño de regresión discontinua es utilizado cuando los beneficiarios pueden acceder al tratamiento si superan cierta valla predefinida: Por ejemplo, Cuando para acceder al crédito educativo se requiere ingresos familiares por debajo de cierto nivel. Cuando el acceso está restringido a estudiantes que alcancen un puntaje mínimo.

43. Se compara el desempeño de los estudiantes que están apenas por encima o por debajo del umbral. Otros caso es el de los experimentos naturales. En este caso, el programa ha sido asignado en la población como si hubiese sido al azar. Aunque no haya sido la intención de los diseñadores del programa, el resultado es similar a un experimento social.

44. Por su parte el método de diferencias en diferencias es el más completo de todos pues hace comparaciones en entre el grupo beneficiario y control antes y después de la aplicación del programa. Con ello se logra controlar las diferencias entre las características observables y no observables entre los grupos beneficiario y control. Desafortunadamente, este método requiere mucha información que no contamos.

45. Selección de la metodología apropiada La metodología que debemos usar es la que más se ajuste a los datos que tenemos. La que sea más apropiada para estudiar la problemática que nos interesa. En el caso del estudios de impacto de la PUCP, contamos con datos de registros históricos de alumnos beneficiados y no beneficiados con el crédito educativo.

46. No sería apropiado hacer una mera comparación entre los desempeños de estos dos grupos (como si se tratara de un experimento) pues: Los estudiantes pueden haberse autoseleccionado. Los criterios de la institución (y de los comités evaluadores) podrían haber variado en el tiempo.

47. Esto hace que las características de los estudiantes (observables o no, difieran notablemente entre los dos grupos mencionados). Aunque en otros contextos la metodología de la regresión discontinua podría haber sido la más apropiada para evaluar crédito educativo, en el caso PUCP no fue así porque: El umbral no está bien definido o es variable a lo largo de los años.

48. Existen muchas observaciones de estudiantes con ingresos bajos y rendimiento suficiente que no solicitaron crédito. Por ello se escogió el método de pareo pues existen numerosas observaciones de individuos potencialmente comparables con los beneficiarios.

49. Adicionalmente, no se contaba con una línea de base del programa. Pese a tener series de tiempo históricas por alumno, no estaba muy clara la definición de “antes y después” del programa, por lo que no se podía aplicar el método de diferencias en diferencias.

50. Selección de la Muestra