UNA MIRADA A LOS SISTEMAS INTERNOS DE ASEGURAMIENTO DE LA CALIDAD EN IBEROAMÉRICA

1. UNA MIRADA A LOS SISTEMAS INTERNOS DE ASEGURAMIENTO DE LA CALIDAD EN IBEROAMÉRICA SEMINARIO MODELOS INTERNOS DE ASEGURAMIENTO DE LA CALIDAD DE IESCNA Colombia, septiembre 2014

3. Aseguramiento de la Calidad en Iberoamérica • Desde 90’s todos los países de Iberoamérica iniciaron procesos de AC de la educación superior. • Sin embargo, existen diferencias importantes en su implementación, avances, características y alcances obtenidos. • Informe CINDA es el resultado de un estudio exploratorio sobre los impactos del AC en países de la región que más han avanzado en institucionalidad y cobertura. Estudio de percepciones en: Argentina, Chile, Colombia, Costa Rica, España, México y Portugal. • Propósito principal del proyecto: mejorar la gestión de la calidad de la educación superior, a nivel de los sistemas nacionales y de las instituciones. • Propósitos complementarios: - contribuir a la generación de conocimientos y confianzas mutuas entre los países; - sugerir alternativas de mejoramiento de la institucionalidad, planteando recomendaciones de política a partir de la información recabada y el análisis internacional comparado.

4. Objetivo: evaluar el impacto de los mecanismos de AC y desarrollar capacidades para una mejor gestión de la calidad. Dos líneas de acción: • evaluación del impacto de procesos de evaluación y acreditación (definición de marco de referencia, definición y aplicación de instrumentos para explorar percepciones sobre la eficacia y pertinencia del AEC en 30 universidades, de los siete países) • diseño y aplicación experimental de una batería de módulos de formación y capacitación para el AC, promoviendo la instrucción y desarrollo de buenas prácticas en la región.

5. Enfoques posibles del AC Control de la calidad: busca que los sistemas nacionales de educación superior alcancen un nivel basal de calidad. Acreditación: permite la evaluación periódica del desempeño de las instituciones y programas en función de estándares; guía a las instituciones de educación superior hacia lo que se considera un adecuado nivel de desarrollo, en la medida que hace que las expectativas que existen respecto de su desempeño se vuelvan explícitas. Mejoramiento de la calidad: reconoce que la responsabilidad por la calidad descansa en las instituciones de educación superior y, al mismo tiempo, supone que ellas tienen la capacidad de desarrollar y aplicar políticas efectivas y mecanismos de autorregulación, en un avance continuo hacia niveles crecientes de calidad.

6. Impacto del AC • Impactos del AC ha comenzado a concitar fuerte interés internacional. • Discusión sobre magnitud de los beneficios obtenidos. Oscila entre impacto visible y significativo en el control y/o mejoramiento de la calidad, y una tendencia a la burocratización de los procesos y excesiva carga rutinaria que no contribuyen a cultura de la calidad. • Evaluar impacto y resultados del AC es relevante para el ajuste de políticas públicas: • Costo financiero no es excesivo para cumplir los objetivos que plantea, pero sí lo es en términos de tiempo y dedicación de personal especializado y de recursos humanos académicos altamente entrenados. • Ofrece múltiples alternativas de evaluación, aplicables en sistemas que presentan desafíos debido a su expansión y complejidad.   • Debate metodológico académico debido a: • permanente dificultad de definir calidad y sus múltiples usos y significados según sea el contexto y perspectiva desde la que se juzgue (Harvey & Green, 1993; Westerheijden, 1999; Harvey & Newton, 2007; Vlasceanu et al, UnescoCepes, 2007, entre otros) y • dificultad para aislar las causas y efectos, puesto que los procesos de AEC son sólo uno de los varios factores que pueden influir en el desarrollo de las instituciones de educación superior (Stensaker, 2003) • Evidencias de cambios organizacionales, escasa claridad de la incidencia del AC en mejoramiento de la docencia ni en aprendizajes

7. Cómo se realizó el Estudio. Levantamiento de opinión Actores • Autoridades gubernamentales, representantes de la política pública. • Vicerrectores y directores de planificación, responsables de la gestión institucional. • Decanos y docentes, directamente involucrados en el desarrollo de los procesos de AC. • Alumnos y egresados, actores interesados y usuarios internos del AC. • Asociaciones profesionales, actores interesados y externos al AC. • Empleadores: debido a escasa información aportada en la fase piloto y a dificultad para identificar informantes calificados, no se les consideró en fase levantamiento opinión. Impacto. • Regularidades presentes en todos los países • Percepciones que sólo fueron registradas algunos países específicos. • Regularidades y singularidades que se presentaron según los distintos actores; se repetían entre varios actores consultados, o bien respecto de un actor en particular, sin mayores diferencias entre los países. • Según la proveniencia de los actores consultados: externos o internos alas universidades, y pertenecientes a universidades públicas o privadas.

8. Cómo opinan… • Autoridades gubernamentales: reconocen el AC como un instrumento de importancia para la educación superior, pero desconocen las características y alcances de los procesos (clave para orientar cambios y formular modificaciones pertinentes a los sistemas normativos). • Autoridades superiores de las universidades: aprecian el AC interno, asociándolo a la gestión de rectoría a la que pertenecen y, por ende, a sus propias decisiones, las que no siempre estarían impulsadas ni influidas por las políticas públicas de AC (foco importante de considerar en tramitación de modificaciones a la normativa vigente). • Autoridades a nivel de facultades y programas: valoran las normas y prácticas del AC, su contribución al logro de los objetivos de las carreras y al mejoramiento de la calidad.

9. Principales conclusiones por Dimensión y Zoom a ColombiaDimensión Macro: Sistema Educación SuperiorDimensión Meso: Gestión institucionalDimensión Micro: Proceso de Enseñanza Aprendizaje

10. Dimensión Macro: Sistema Educación Superior • AC y acreditación se han institucionalizado en los 7 países. • Autoridades intermedias: ven con mayor nitidez cambios positivos de la acreditación en el desarrollo de la ES; sin embargo, señalan limitaciones a la innovación y diferenciación institucional. • Importante mantener y fortalecer procesos de evaluación y acreditación de carreras/programas. Estudiantes y docentes aprecian los efectos. Permiten que los cambios identificados como necesarios, tras los procesos de evaluación interna y externa, sean factibles de implementar y visibles para las comunidades académicas. • Críticas de académicos de universidades estatales: la acreditación las pone en condiciones de competencia con instituciones que no tienen un carácter tradicional. • Todos: contar con más y mejor información y regular la información a la que accede el público, mediante sistemas diseñados a la medida de los distintos usuarios; regulación de la publicidad. Estado garante de información oportuna, veraz, accesible y transparente para futuros estudiantes y sus familias.

11. Zoom 3.1.1. Institucionalidad y funcionamiento del AC Actores conocían ampliamente el sistema de AC de sus país. Se valoran positivamente los avances en las nuevas legislaciones sobre AC. Credibilidad de la institucionalidad de las agencias de AC. 3.1.2. Información sobre el sistema de educación superior. Opinión generalizada: los sistemas nacionales han mejorado: Más y mejor información, mayor transparencia.   Se aprecia el avance y gran transparencia lograda en Colombia aunque, algunos critican la excesiva centralización y poca comunicación entre la autoridad responsable y las IES. Posibles sesgos inducidos por la autoridad o por sectores de universidades con capacidad para ocultar, manipular e incluso falsear la información pública. Críticas de autoridades de universidades públicas a las instituciones privadas, por falta de transparencia y veracidad; criticas de autoridades de universidades privadas, por imposición de datos e indicadores tradicionales que dificultan la innovación.

12. Zoom 3.1.5. Mecanismos de articulación horizontal y vertical. Definida como una tarea antes que un logro. Sólo Colombia y México plantean cierta relación con el AC, debido a que procesos de AC promueven mayor flexibilidad curricular. 3.1.6. AC y opinión pública. Opinión generalizada y transversal: creciente preocupación por la calidad en amplios sectores de la opinión pública. Es necesario que las agencias mejoren la información que entregan al público (Argentina, Chile y Colombia). Los resultados del AC no son siempre comunicados correctamente por las propias instituciones; información incompleta, confusa o bien tardía.

13. Dimensión Meso: Gestión institucional • Modificación de las estructuras organizacionales de las universidades. Funciones de diseño, control, planificación de los procesos de AC y manejo de información para la toma de decisiones, ejercidas por profesionales que usualmente no son académicos (oficinas de análisis institucional). • Contrapartida: directivos medios y académicos critican instalación de un estilo gerencial y burocrático en la toma de decisiones. • Un resultado del AC: establecimiento de sistemas de información nacionales junto al desarrollo de sistemas al interior de las IES • Aspiración: contar con sistemas integrados de información (detallados, abarcadores, precisos). Cuál es la información útil y para qué fines es prioritario utilizarla?

14. Dimensión Meso: Gestión institucional • Apuesta: sistemas incidirán en mejor gestión académica. • Autoridadessuperiores (vicerrectoresacadémicos, directores de planificación y decanos) percibenmásclaramente los beneficios de estetipo de sistemas. • Académicos y asociacionesprofesionales: avances no justificanexceso de presión y burocraciaporreporte de datos. Adicionalmente, desconfianzas del usoquehacenotras IES de la información. • Gestión del cuerpo académico: cambios en los criterios y prácticas de selección y contratación, • requisitos más exigentes • concursos más competitivos • prácticas más transparentes de contratación. • Asociado a lo anterior, el AC también ha incidido en presión creciente sobre el número y credenciales del cuerpo docente.

15. Zoom institucionalización del AC, sistemas de información 3.2.1. Institucionalización del AC. • Autoridades superiores: institucionalización del AC es positiva, permite desarrollar mejor sus funciones. • Crítica: lentitud e insuficiente cultura de la evaluación (monitoreo de procesos de enseñanza-aprendizaje y seguimiento de estudiantes y egresados). • Vinculación del AC con formulación, ejecución y control presupuestario aún en desarrollo. • Académicos: crítica al gerencialismo. Un problema, especialmente cuando el AC se transforma en un fin en sí mismo, que sigue el ritmo externo que imponen los procesos de acreditación de las agencias (Colombia, España). Presiones de las unidades internas, orientadas por consideraciones técnicas, suelen no valorar los criterios ni la cultura académica. • Burocratización impulsada por los procesos de acreditación de las agencias es replicada por las unidades centrales de las universidades. Presión a los académicos y aumento innecesario de carga administrativa, que los distrae tareas más importantes. 3.2.2. Desarrollo de sistemas de información institucional • Consenso: el AC va acompañado de sistemas de información al interior de las IES. Si eran inexistentes, el AC ha permitido instalarlos. Si existían previamente, el AC los ha perfeccionado. En todos los países se observan avances. La magnitud del impacto y su valoración pareciera ser mayor en Costa Rica, Colombia y Chile. • Diferencias entre universidades públicas y privadas: orientación a la rendición de cuentas v/s fines estratégicos. Crítica de unos a otros: orientación burocrática v/s gerencialista. • Problemas identificados por actores en IES (autoridades superiores, directivos de programas y académicos): integración de los distintos sistemas, dificultades en acceso, confiabilidad y uso de datos. Múltiples sistemas operando aisladamente. • Mayor disponibilidad de información que, a la vez, alimenta nuevas demandas.

16. Zoom a la Gestión y la Docencia 3.2.3. Gestión, gobierno y administración de las IES y programas • Ámbito complejo, que obedece a múltiples factores; el AC es sólo uno de ellos y no el más importante. Juicio particularmente positivo en Costa Rica y Colombia. • En la mayoría de los países se atribuye al AC el posicionamiento del proyecto institucional como una definición estratégica relevante, y la utilización de la planificación como un instrumento de gestión. En ambos casos, se trata de cambios no sólo atribuibles al AC, sino directamente orientados al mejoramiento de la calidad. • Proyecto institucional: explicitación y transparencia al público. Procesos de ajustes, mayor claridad y análisis de pertinencia. • Planificación: Mayor articulación entre evaluación y acciones de mejoramiento. • Autoridades de las universidades perciben más claramente los cambios. Se destacan ciertos cambios a nivel organizacional, como la creciente incorporación de técnicos y profesionales especialistas en la gestión de procesos, además de cierta institucionalización de la estructura de soporte. 3.2.4. Gestión institucional de la docencia • Valor creciente de la docencia al interior de las universidades. Países en los que se aprecia más el impacto: Colombia, Chile y Costa Rica. • Asociación entre AC y cambios en la gestión curricular: mejor diseño (y más participativo), consideración de nuevas demandas, ajuste y actualización, etc. • Otros cambios: • Mecanismos de atención a los estudiantes, • programación y coordinación pedagógica, • gestión de los recursos para la docencia.

17. Zoom a la Gestión del cuerpo académico 3.2.5. Gestión del cuerpo docente/académico Importantes cambios en los criterios y prácticas de selección y contratación: establecimiento de requisitos más exigentes (grado de doctor, en muchas universidades), concursos y prácticas más transparentes de contratación. AC: creciente presión sobre el número y credenciales del cuerpo docente. Por lo general, las universidades han debido garantizar un mayor número y dedicación horaria de sus académicos y, al mismo tiempo, velar por su formación académica, profesional y pedagógica. En Colombia, Costa Rica y, en menor medida, Chile, se aprecian cambios asociados a los criterios y estándares de evaluación de los sistemas de acreditación, en los que el número, calidad y gestión del cuerpo académico ocupa un lugar importante.

18. Dimensión Micro: Proceso de Enseñanza Aprendizaje • Docencia: percepciónpositiva y generalizada de queel AC ha incididoen: • las actualizaciones de currículos y perfiles de egreso, • la consideración de información relativa a logros y seguimiento estudiantil, • la incorporación de nuevas estrategias, metodologías y prácticas de enseñanza. • Aún hay pocas evidencias de los resultados obtenidos. • Perfilesde egreso, currículosporcompetencias, seguimientoy logro de los estudiantese innovacionescurricularesmerecenunaevaluaciónsustantiva. Repeticiónmecánica de procedimientos. • Influenciadirecta del AC encuestionesbásicas: adquisiciónde bibliografía de los cursos y de materialesnecesarios para impartirdocencia. • Influencia no directa: innovacionesasociadas a TICs para la docencia, desarrollo de competencias, nuevasmetodologías de enseñanza y evaluación, desarrollo de buenasprácticas, entre otros. • Influencia prescriptiva de la acreditación para con los cambios curriculares. Los procesos de acreditación mueven o aceleran las modificaciones al currículo y a los perfiles de egreso; incluso la explicitación de éstos. • Crítica a los procesos de AC: para acreditarse, es preciso adaptar el currículo a lo que dicen los criterios.

19. Zoom a la actualización curricular 3.3.1. Perfiles de egreso, planes de estudio y currículo En todos los países, los distintos actores indican que las IES han llevado a cabo procesos de ajuste y actualización curricular, con el objetivo de responder a las necesidades del ‘mercado’ (aunque no es claro el proceso de identificación de éstas), actualización y formalización de los perfiles de egreso. En Colombia y Chile se indica que son las fuerzas del mercado las que más presionan por cambios y ajustes a los planes y programas, y su vinculación con el mercado laboral. Mayor incidencia de egresados que de empleadores. Los cambios en los perfiles de egreso aparecen con fuerza en Colombia, Costa Rica y Chile Causa que determina el desarrollo de estos procesos no es aislable y autoridades cuya responsabilidad directa es la calidad de la formación (jefes de carrera), matizan la incidencia del AC. Asignan a los procesos de revisión y actualización curricular un carácter permanente y no cíclico como el AC. Consideran estos cambios como una iniciativa directa de su propia gestión y de la institución, parte de su compromiso con una cultura por la calidad y no necesariamente por motivación externa. Docentes: vinculan los cambios curriculares al desarrollo de procesos de auto evaluación; a las exigencias de los criterios de evaluación o de las agencias, a veces una consecuencia de los planes de mejoramiento posteriores a la autoevaluación o incluso a la acreditación. Para los estudiantes, el origen de los cambios es intrascendente. En general, perciben que se están haciendo ajustes y que son positivos. Autoridades institucionales (especialmente Colombia y Costa Rica) vinculan los cambios en el currículo al cambio del perfil del estudiante, a la urgencia de inserción rápida y exitosa en el mercado laboral, a la rapidez de reacción frente a la competencia y al uso de tecnologías. Es interesante apreciar cierta influencia prescriptiva de la acreditación para con los cambios curriculares, toda vez que se trata de un aspecto por el cual consultan todas las agencias nacionales y, cuando las hay, también las especializadas. De alguna manera, los procesos de acreditación mueven o aceleran las modificaciones al currículo y a los perfiles de egreso; incluso la explicitación de éstos. Hacen urgente una tarea importante, muchas veces postergada si no hay presión externa. Esta situación redunda también en una crítica a los procesos de AC y al hecho de que, para acreditarse, es preciso adaptar el currículo a lo que dicen los criterios; en este escenario, en países como México, incluso se critica el poco espacio para la diferenciación.

20. Zoom a la progresión curricular y logros de los estudiantes Se desconoce impacto 3.3.2. Análisis de información sobre progresión y logros • En todos los países este es un aspecto clave, una preocupación permanente para las facultades. Es un proceso complejo, en el que intervienen otros elementos. • Todos los países: el AC visibiliza la información sobre la progresión y rendimiento de los estudiantes y la coloca en un lugar de importancia. • Actores más directamente involucrados con la docencia (jefes de carrera y académicos): deserción es un proceso altamente complejo, no es posible controlar todas las variables intervinientes; debe abordarse a través de numerosas acciones de mejoramiento: • aumento de los requisitos de ingreso, • tutorías, • flexibilidad curricular, • dictación semestral de los cursos, • disminución del tamaño de las secciones (cursos pequeños), • orientación y asesoría psicológica a los alumnos, • becas y apoyo socioeconómico, • aumento de los recursos de apoyo y materiales didácticos, • propedéuticos y cursos introductorios (contenidos y prácticas de estudio, por ejemplo), • profesores especializados para ciertos tipos de estudios, • seguimiento y monitoreo temprano, etc. • En Argentina y Colombia: se han implementado acciones para mejorar los resultados de aprendizaje, se reconoce mejora en las metodologías de enseñanza, pero se señala la incidencia de la deficiente formación secundaria, los problemas socioeconómicos y la apatía de los estudiantes, que generan en los docentes la sensación de estancamiento durante la última década. • El apoyo a los estudiantes con dificultades académicas es crítico en todos los países.   • El único sistema de información pública que se menciona es el SPADIES de Colombia (Sistema de Prevención y Análisis de la Deserción en las Instituciones de Educación Superior), como facilitador del seguimiento de la deserción.

21. Zoom a la evaluación de aprendizajes 3.3.3. Evaluación de aprendizajes. Evaluación de aprendizajes: clave desde el punto de vista del AC, pero acciones institucionales sólo recientes. En general, responde a iniciativas de los propios docentes y hay poca evidencia de su avance efectivo. La única política institucional que se menciona son los exámenes nacionales (Saber Pro en Colombia). La percepción de vínculo entre los cambios percibidos y el AC es más clara en Colombia, Costa Rica y Chile.

22. Una evaluación del CNA…del 2009 acerca del Impacto de la Acreditación en la Calidad de los Programas Formación docente: mejoramiento nivel de formación; incremento número docentes; revisión y ajuste de formas de contratación. Fortalecimiento de los recursos de apoyo a la docencia: planta física, laboratorios, computadores, software especializado, bibliografía y pruebas psicológicas. Grupos de investigación: Revisión de criterios de jerarquización que implican incremento en número de docentes que acceden a ella (pero no de los reconocidos por COLCIENCIAS); aumento de publicaciones docentes, pero no de los productos concretos derivados. Construcción de comunidades y cultura de la evaluación: mejora en calidad IAE Control y seguimiento: creación de instancias de control interno

23. ¿No será curiosamente positiva la evaluación chilena? • Diagnóstico realizado en 2010. • Informantes claves corresponden a actores que más valoran el sistema. • Con posterioridad: evaluación OECD, proyecto de ley, Reforma Educacional en definición

25. Vigencia de las Conclusiones • Institucionalización del AC es valorada, pese a ciertos inconvenientes y limitaciones. • Si bien se critica eventual pérdida de autonomía de las universidades que se someten a los mecanismos de AC, los cambios en sus propias estructuras organizacionales reflejan que las instancias responsables del AC se han instalado de manera permanente, y por ende también lo ha hecho la acreditación. • Autoridades de las facultades/escuelas y programas/carreras: mayor valoración de las normas y prácticas del AC y de cómo éstas contribuyen al logro de los objetivos de las carreras y al mejoramiento de la calidad. • La claridad de su opinión respecto de las distintas dimensiones, denota que es en estos niveles donde los sistemas de AC y acreditación tienen una mayor incidencia, aunque no siempre suficientemente apreciada. • Distinción entre universidades públicas y privadas: no fue gravitante. • Asignación de responsabilidades por entrega de información oportuna, veraz, accesible y transparente al Estado y no alas universidades. Garante de la información que reciben futuros estudiantes y sus familias; desconfianzas respecto del uso de información que hacen otras IES del sistema. Rol estatal aparece con fuerza, las políticas públicas vinculadas al AC debieran recoger y potenciar.

26. Vigencia de las Conclusiones Supuesto transversal de que la integración de los sistemas de información permitiría solucionar dificultades de acceso y pertinencia; y que contar con información más detallada y precisa, aseguraría una mejor gestión académica e institucional. Estas opiniones reflejan que este es un aspecto que todavía requiere de avances. Es importante tener claridad de cuál es efectivamente la información útil y para qué fines es prioritario utilizarla. Riesgo insoslayable: de que la crítica a la burocratización y a la deficiente preparación de los pares evaluadores se instale y deslegitime los procesos y decisiones adoptadas. Agencias debieran mantener una especial preocupación por acreditación de carreras. Es importante revisar los diversos instrumentos de política pública distintos del AC pero que lo afectan, evaluar su nivel de alineamiento y efectuar las correcciones del caso. Es necesario que los países implementen mecanismos para una mayor divulgación y transparencia de los procedimientos y resultados de las decisiones de acreditación adoptadas por las agencias nacionales. Que la información sobre la acreditación sea accesible y comprensible para la opinión pública y que se regule la publicidad.

27. Vigencia de las Conclusiones La vinculación permanente de la agencia con el mundo académico es un aspecto sobre el cual hay que trabajar. No sólo por la legitimidad que otorga a la institucionalidad y a las decisiones que ésta adopta, sino porque las universidades reclaman por una mayor consideración - y más permanente - a la hora de definir normas y procedimientos (marco regulatorio) y, especialmente, en una fase de consolidación del sistema, en la cual es imprescindible corregir efectos no deseados y perfeccionar normas, procedimientos y mecanismos de AC.

28. Gracias daniela.torre@fch.cl danielatorre142@gmail.com

29. Nuestro enfoque • Estrategia gradual (TP, sectores y niveles seleccionados) • Marco de Cualificaciones generado junto a sector productivo, en sintonía con tendencias mercado laboral, nuevas tecnologías, innovación. • Efecto demostrativo: sistema de cualificaciones, no sólo marco de cualificaciones. • Desarrollo de estándares (institucionales, aprendizaje, docentes, directivos) útiles para agenda de agencias de calidad escolar y ed superior. • Pilotos de articulación EMTP+ESTP+Oficios en 3 sectores. • Punta de lanza iniciativas regionales anunciadas por MINEDUC para TP • FCH convoca, articula, lidera técnicamente, en asociación con MINEDUC como contraparte pública. • Sinergia con otras políticas públicas: CNIC, CORFO, MINTRAB. • Resultados desde primer semestre 2015.

30. 100% U 46% IP 44% CFT 10% U 80% IP 20% U