Fortalezas y debilidades de las pruebas estandarizadas como mecanismos inclusivos de admisión a la educación superior

1. Fortalezas y debilidades de las pruebas estandarizadas como mecanismos inclusivos de admisión a la educación superior Richard P. Phelps Pontificia Universidad Católica de Chile, Santiago ProgramaTalento y Inclusión 16 de diciembre de 2015

2. ¿Qué es una prueba estandarizada? Una evaluación con al menos un aspecto - su contenido o administración – que es el mismo para todos quienes la rinden ¿Cuál es la principal ventaja de las pruebas estandarizadas? ¡Que es estandarizada!

3. ¿Cuál es la principal desventaja de las pruebas estandarizadas? ¡Que es estandarizada!

4. Hay tres tipos de pruebas estandarizadas utilizadas en el contexto del ingreso a la universidad Contenidos Aptitud No cognitiva

5. Pruebas de contenidos - Historia Al comienzo, eran versiones más extensas de pruebas escolares ~ 1900 – pruebas “científicas” de rendimiento (Alemania y EE.UU.) J.M. Rice – analizó sistemáticamente la estructura y efectos de las pruebas E.L. Thorndike – desarrolló escalas de puntuación

6. Pruebas de contenido en general Mayoría de las pruebas en el aula (desarrolladas por docentes) son de contenido Objetivo: medir el dominio de los contenidos o habilidades Desarrolladas: sobre la base del currículum (alineación curricular)

7. Pruebas de contenidopara el acceso a la universidad ¿Cómo se validan? Por su alineación con el currículo de la escuela secundaria Correlación con otras medidas, como las notas de educación media y ranking Asume que todos tienen la misma oportunidad de aprender contenidos  equidad Son, en alguna medida, entrenables - dominio de contenido se conoce de antemano

8. Pruebas de Aptitud - Historia A. Binet y T. Simon 1890s (Francia) Niños en edad preescolar con discapacidad mental Imposible evaluarlos a través de pruebas de contenido Buscó desarrollar pruebas de capacidades mentales libres de contenido : asociación, atención, memoria, habilidades motoras, razonamiento

9. Pruebas de Aptitud - Historia 1917 Adaptadas por el Ejército de Estados Unidos para seleccionar y asignar soldados en la Primera Guerra Mundial Estados Unidos entró en la guerra tarde, Paris estaba bajo amenaza, y necesitaba movilizar tropas muy rápidamente

10. Pruebas de aptitud, en general Objetivo: predecir cuánto puede ser aprendido Desarrolladas:mediante el análisis de las habilidades necesarias para llevar a cabo ciertas tareas, ampliamente utilizado en la industria Empleadas para identificar estudiantes talentosos o alumnos con necesidades especiales También se llaman pruebas de razonamiento Los pruebas de inteligencia son un tipo de pruebas de aptitudy utilizan la escala desarrollada originalmente por Binet y Simon

11. Las pruebas de aptitud para el acceso a la universidad ¿Como son validadas? Validez predictiva: correlación con actividad futura (ej. rendimiento universitario). Poco énfasis en contenidos:-Contenido utilizado es básico, amplio, comúnmente conocido por todos-Prueba mide lo que los estudiantes son capaces de hacer con los contenidos No puede ser fácilmente entrenado:- Dominio del contenido es de conocimiento común: demasiado amplio como para ser foco de estudio

12. Las pruebas de aptitud para el acceso a la universidad – Historia Década de 1930 El presidente de la U. de Harvard, J. Conant … Quería una nueva prueba de admisión para identificar alumnos de las clase socio-económica baja con potencial para tener éxito en Harvard : "diamantes en bruto” Alentó al desarrollo de la primera Scholastic Aptitude Test (SAT)

13. Las pruebas de aptitud, bien construidas, pueden identificar: Las pruebas de aptitud para el acceso a la universidad alumnos que se aburren en la educación media, pero que estudian lo que les interesa por su cuenta alumnos desadaptados a la cultura de la escuela secundaria, pero que pueden adaptarse bien a la cultura universitaria alumnos de alta capacidad perjudicados por haber asistido a escuelas de mala calidad

14. Pruebas no-cognitivas - Historia(miden actitudes, preferencias, comportamientos y circunstancias de vida ) En realidad, más una encuesta que una prueba. Utilizado por las organizaciones empresariales para predecir el "ajuste" entre un solicitante de empleo yla cultura de la organización

15. Pruebas no-cognitivas El contenido es personal, no requiere de estudio Involucra más sentimientos que conocimientosAborda comportamientos y circunstancias de vida. Se desarrollan a través de cuestionarios, entrevistas personales.

16. Pruebas no-cognitivas en general Distintos tipos: pruebas de integridad, exploración de carrera, búsqueda de pareja, evaluación de fortalezas y debilidades para ambientes particulares (ej. universidades, empleo en ciertas carreras, programas militares) Validado por validez predictiva, tasas de éxito en actividades futuras. Muy fácilmente falseables - "fingir" puede ser fácil; postulantes pueden simular ser honestos y trabajadores, incluso si no lo son.

17. Las pruebas no-cognitiva para el acceso a la universidad Muchos factores no cognitivos son aplicables para predecir el éxito universitario: por ejemplo, la perseverancia, la confianza, la ambición, la curiosidad, la estabilidad familiar, la estabilidad laboral. Pruebas no cognitivas se validan a través de la correlación con los resultados futuros, tales como la permanencia en la universidad Al ser fácilmente falsificables, las pruebas no cognitivas se administran normalmente después de la admisión a la universidad: sus resultados son usados para brindar apoyo estudiantil y no con fines de selección

18. Más información suele ser mejor Si la universidad fuera igual que la enseñanza media, las notas de la enseñanza media y una prueba de contenidos bastarían para fines de admisión Pero la universidad no sólo es más desafiante académicamente que la enseñanza media, también es muy diferente en otros aspectos...

19. ¿Cómo es diferente la universidad? … tiene una más amplia variedad de estudiantes y profesores … está más lejos de casa, requiere mayor tiempo de desplazamiento … tiene profesores que además de enseñar hacen investigación … tiene menos estructura, lo que requiere de más organización por parte de los alumnos … tiene menos supervisión, requiere de más iniciativa de los estudiantes … demanda un menor número de horas de clase, pero requiere de más horas de estudio personal … el (la) estudiante elige lo que estudia (estudio focalizado), entre otros.

20. Para fines de admisión hay que maximizar la información disponible con el fin de mejorar el calce entre el alumno y la institución Tres medidas son importantes: 1. Validez predictiva 2. Diferencias entre grupos 3. Cobertura de contenidos

21. Validez predictiva Validez predictiva incremental Mide si las puntuaciones en una prueba de admisión se correlacionan con los resultados en la universidad (por ejemplo, buenas calificaciones en los cursos, graduación oportuna) Mide la cantidad de información única que provee una prueba de admisión, más allá de la información disponible a partir de otras medidas.

22. Los valores de validez predictiva van desde -1,0 a +1,0 -1,0 representa la más alta correlación negativa posible 0 representa ausencia total de correlación +1.0 representa la mayor correlación positivaposible La correlación se puede representar gráficamente con un diagrama de dispersión

23. Correlación positiva: De la población de parejas casadas: la edad de la mujer y la edad del marido coeficiente de correlación, r = + 0,97

24. Más ejemplos de diagramas de dispersión y coeficiente de correlación: + 1,0 - 0,50 + 0,85 + 0,15

25. Validez Predictivade accesso a la universidad Mide cuán bien los puntajes en las pruebas de admisión predicen mejores resultados en la universidad (por ejemplo, notas graduación) Una prueba con baja validez predictiva provee poca información

26. Validez predictiva: SAT y PSU SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013; SAT data from College Board.

27. Validez predictiva: SAT y PSU (Carrera: Administración) SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013; SAT data from College Board.

28. Validez predictiva: SAT y PSU (Carrera: Arquitectura) SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013; SAT data from College Board.

29. Validez predictiva: SAT y PSU (Carrera: Educación) SOURCE: Pearson, Final Report Evaluation of the Chile PSU, January 2013

30. Diferencias entre subgrupos Las diferencias en las puntuaciones entre los subgrupos de población (por ejemplo, género, etnia y tipo de escuela) deben responder sólo a diferencias en aquello que la prueba debe medir y no a factores ajenos (sesgos sistemáticos) debidos a la pertenencia a un grupo específico

32. Media de puntuación de PSU Matemática por tipo de escuela secundaria, 2001-2010

33. SOURCE: OECD (2011a), Education at a Glance 2011: OECD Indicators, OECD, Paris

34. Cobertura de Contenidos(valores entre 0% y 100%) La cobertura completa del plan de estudios de la educación media es más importante en asignaturas como las matemáticas o la música donde los conocimientos son acumulativos. Importa mucho menos en las asignaturas que se inician en el ámbito universitario, como la arquitectura, la medicina o la educación.

35. Cobertura de ContenidosCuestión de la equidad ¿Cuánto del contenido de una prueba se ha cubierto en la enseñanza media? No es justo esperar que los estudiantes dominen contenidos a los cuales no han estado expuestos ... o comparar estudiantes que han estado expuestos al contenido con otros que no lo han estado La oportunidad de aprender es un requisito de equidad, particularmente en países en que el retorno de la inversión en educación superior es alto

36. Retorno de la inversión la educación superior Los retornos a la inversión en la educación superior en Chile es, proporcionalmente, el más alto entre los 35 países de la OCDE. Los beneficios para la sociedad de más graduados universitarios es alto – p.ej. en un pueblo rural tener un médico por primera vez. Los beneficios para los graduados universitarios como individuos es aún mayor: reciben salarios mucho más altos que los menos educados.

38. SOURCE: Education at a Glance 2014: OECD Indicators, OECD, Paris

39. La necesidad de más graduados de la educación superior • Es mayor en Chile que en otros 35 países de la OCDE. • Dos posibles soluciones: • Matricular a más estudiantes • Aumentar la eficiencia de la búsqueda y calce de estudiantes e instituciones de educación superior, lo que aumenta la eficiencia del proceso de enseñanza- aprendizaje, y aumenta la retención. • ¿Cómo? ¡Maximizando la validez predictiva!