El estudio PISA de la OCDE

1. El estudio PISA de la OCDE Ramón Pajares Box Consejero Técnico Instituto Nacional de Calidad y Evaluación (INCE)

2. El estudio PISA de la OCDE • Descripción • Características • Objetivos • Muestra • Historia • Coordinación de PISA • Resultados • Globales • Lectura • Diferencias de género • Factores asociados con el rendimiento • Del alumno y la familia • Del aula y del centro

3. Características (I) • PISA: Programme for International Student Assessment (Programa de evaluación internacional de alumnos) • Es un estudio de literacy a los 15 años • Es un estudio comparativo entre países y entre ciclos • Como todo proyecto de la OCDE, es un estudio “policy oriented” • Participación en PISA 2000: 28 países OCDE y 4 países no miembros • En 2002 se añaden 13 nuevos países no miembros y en 2003 dos más

4. Países participantes * Paises no miembros de la OCDE

5. Características (y II) • PISA evalúa tres materias: Lectura, Matemáticas, Ciencias • Hay un nuevo estudio (ciclo) cada tres años • En cada ciclo una de las tres materias es estudiada con más profundidad: • En 2000: Lectura • En 2003: Matemáticas • En 2006: Ciencias • La materia principal ocupa el 66% del estudio, cada una de las secundarias, el 17%

6. Objetivos • El enfoque específico de PISA son los conocimientos y destrezas necesarios para integrarse en la vida adulta • PISA evalúa los conocimientos y destrezas acumulados por los alumnos hasta los 15 años • En esta edad se suele terminar la educación obligatoria en la mayoría de los países • La evaluación se basó en situaciones reales y no en el dominio de un currículo específico • PISA no es, pues, un estudio curricular, al estilo TIMSS

7. Muestra • Muestra bi-etápica: primero se seleccionan centros y luego, al azar, 35 (40 en España) alumnos de 15 años • Los alumnos son elegidos con independencia de su grado de aprovechamiento escolar • No se seleccionan clases intactas y, por tanto, no hay profesores de referencia • Esta ausencia de datos suministrados por profesores se echa de menos al analizar los factores asociados a los rendimientos

8. Historia • PISA surge de la necesidad de datos de rendimiento para el sistema de indicadores INES de la OCDE • La IEA se negó, en un determinado momento, a facilitar los datos de TIMSS para esos indicadores • La OCDE se propuso entonces montar su propia toma de datos • Resultado inesperado: simultaneidad de dos estudios muy similares, con desafortunados efectos en la participación

9. Coordinación de PISA • Secretariado de la OCDE • Consorcio técnico: • ACER, Australia Coordinación y análisis • CITO, Holanda Producción y selección de ítems • ETS, EE.UU. Escalamiento de resultados • NIER, Japón • Westat, EE.UU. Muestreo • Coordinadores Nacionales en cada país (en España, 19)

10. Principales resultados de PISA 2000 • Puntuaciones de rendimientos expresadas, como en TIMSS, en una escala con media de 500 y desviación típica de 100 • En Lectura, materia principal, tres sub-escalas: • Recuperación de información • Interpretación de textos • Reflexión sobre los textos • Sólo en Lectura, cinco niveles de rendimiento: • Nivel 5: más de 625 puntos • Nivel 4: de 553 a 625 • Nivel 3: de 481 a 552 • Nivel 2: de 408 a 480 • Nivel 1: de 335 a 407 • (Nivel 0): por debajo de 335 puntos

11. Resultados globales (I) España

12. Resultados globales (II) España • Entre los 32 países participantes, España está situada: • Lectura: ente las posiciones 17 y 21 • Matemáticas: entre las posiciones 23 y 25 • Ciencias: entre las posiciones 16 y 22

13. Resultados globales (y III)

14. Lectura: escala global y sub-escalas

15. 2 5 14 29 32 18 1 5 19 39 31 6 2 7 18 28 28 17 3 7 18 33 29 10 3 8 18 30 27 14 5 9 17 25 26 19 3 9 19 26 25 18 4 9 20 27 24 16 3 9 20 30 26 11 8 11 17 26 26 12 4 10 22 30 25 9 4 11 22 31 24 9 6 11 20 28 24 11 4 11 22 31 24 8 6 12 21 27 21 12 6 12 22 29 22 9 6 12 23 29 22 8 7 13 21 28 21 9 4 12 26 33 21 4 6 11 25 31 20 7 5 14 26 31 19 5 10 13 22 27 19 9 8 15 23 30 19 5 9 15 24 28 19 6 7 16 25 29 18 5 Grecia 9 16 26 28 17 5 Portugal 10 17 25 27 17 4 Rusia* 9 18 29 27 13 3 Letonia* 13 18 26 25 14 4 Luxemburgo 14 21 27 25 11 2 México 16 28 30 19 6 1 Brasil* 23 33 28 13 3 1 nivel < 1 nivel 1 nivel 2 nivel 3 nivel 4 nivel 5 Finlandia Corea Lectura: niveles de rendimiento (I) Canadá Japón Irlanda Nueva Zelanda Australia Reino Unido Suecia Bélgica Austria Islandia Noruega Francia Estados Unidos Países OCDE Dinamarca Suiza España Chequia Italia Alemania Liechtenstein* Polonia Hungría

16. Lectura: niveles de rendimiento (y II)

17. Dispersión de los resultados Ciencias Matemáticas Lectura 200 300 400 500 600 700 800

21. Resultados obtenidos y esperados • El rendimiento promedio se acerca notablemente a lo que es esperable del PIB per cápita de España • De mismo modo, el rendimiento es acorde con el gasto acumulado en educación hasta los 15 años • En el conjunto de los países de la OCDE, España está entre los primeros de la Segunda División por nivel económico • No es de extrañar que España esté también entre los primeros de la Segunda División por sus resultados educativos

24. Diferencias de género (I)

25. Diferencias de género (y II)

26. Factores asociadoscon el rendimiento en Lectura • Factores del alumno y la familia • Sin ISEC (índice socio-económico y cultural) • Con ISEC • Factores del aula y del centro

27. Factores del alumno y la familia (sin ISEC)

28. Origen extranjero (I)

29. Origen extranjero (y II)

30. Repetidores (I)

31. Repetidores (y II)

32. Factores del alumno y la familia (con ISEC)

33. Gradientes ISEC en Lectura • Comparan España con una selección de países • Relacionan rendimiento en lectura y status socio-económico • Los gradientes se extienden entre los percentiles 5 y 95 • En los gradientes hay que observar: • Posición horizontal: a la derecha, mayor índice ISEC • Posición vertical: arriba, mejores resultados en Lectura • Longitud: corta, mayor homogeneidad • Pendiente o inclinación: más horizontal, mayor equidad • Curvatura: convexa, las diferencias tienden a disminuir • Convergencia o divergencia entre países

34. Gradientes, global

35. Gradientes, países americanos

36. Gradientes, países mediterráneos

37. Gradientes, resto de Europa

38. Factores del aula y del centro

39. Variabilidad entre centros en Lectura • España: • Entre centros: 15,9 • Intra centros: 60,9 • OCDE • Entre centros: 36,2 • Intra centros: 65,1

40. Titularidad del centro y Lectura (I)

41. Titularidad del centro y Lectura (II)

42. Titularidad del centro y Lectura (y III)

43. “Valor añadido” educativo Rendimiento diferencial del rendimiento en Lecturade los centros privados con relación a los centros públicos

44. Esto es todoMuchas gracias Más información en: www.pisa.oecd.org