1 / 102

Métodos y procesos para el desarrollo y construcción de exámenes

Métodos y procesos para el desarrollo y construcción de exámenes. Taller para la Universidad del Valle de Guatemala Antonio Magriñá Director Ejecutivo División de Medición e Investigación 12 de junio de 2007. Quienes somos.

rue
Télécharger la présentation

Métodos y procesos para el desarrollo y construcción de exámenes

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Métodos y procesos para el desarrollo y construcción de exámenes Taller para la Universidad del Valle de Guatemala Antonio Magriñá Director Ejecutivo División de Medición e Investigación 12 de junio de 2007

  2. Quienes somos • Somos una asociación educativa sin fines de lucro que aboga por la excelencia educativa para todos los estudiantes a través de la colaboración continua de sus miembros que incluyen las escuelas secundarias, instituciones universitarias, sistemas de educación y organizaciones educativas.

  3. Quienes somos Miembros • La participación activa de los miembros en los procedimientos es lo que garantiza la adecuada respuesta a sus necesidades y constituye una de las características excepcionales de los programas. • Participan: • En la Junta de Síndicos: 28 miembros electos por los representantes de las instituciones que componen y rigen la asociación. Los síndicos designan el presidente del College Board. • En las Juntas asesoras o consultivas: funcionarios directivos, profesores, profesionales de orientación y de ayuda económica procedentes de las instituciones miembros trabajan en cada programa de importancia. • En las asambleas anuales y regionales en Juntas, congresos técnicos, conferencias, comités y grupos de trabajo: Los representantes de las instituciones miembros hacen aportaciones, evaluaciones, revisiones, y comparten sus experiencias y conocimientos con colegas y expertos en las materias.

  4. Dirección electrónica: oprla@collegeboard.com

  5. Objetivos del primer dia Analizar algunos conceptos fundamentales de la evaluación del aprendizaje con exámenes - Construcciones lógicas y tipos de examen • Ventajas y limitaciones de un examen estandarizado • exámenes estandarizados y exámenes con referencia a criterio (criterion referenced) • Presentar un modelo de desarrollo sistemático de un examen

  6. Objetivos • Usos de exámenes en la evaluación de la Aptitud y el aprovechamiento • Modelo de desarrollo de un examen • Desarrollo de especificaciones y alineamiento con los objetivos de enseñanza-aprendizaje • Redacción de ítems • Teoría general de medición • Uso de índices psicométricos y estadísticos • Análisis estadísticos de ítems • Construcción del examen: formas experimentales y formas operacionales • Desarrollo de Escalas: • Diseños y metodos de calibracion, igualacion y equiparacion • Interpretación de los resultados • Estudios de validez y otras investigaciones

  7. CONSTRUCCIONES LOGICAS • APTITUD: • DEFINICIONES DEL DICCIONARIO DE LA LENGUA ESPAÑOLA DE LA REAL ACADEMIA (Ed.Espasa Calpe, 2001): “Capacidad para operar competentemente en una determinada actividad.” “ Capacidad o disposición para el buen desempeño o ejercicio de un negocio, de una industria, de un arte, etc.”

  8. CONSTRUCCIONES LOGICAS: • Pruebas de: • APTITUD: Teoría cognoscitiva – procesos • Lo que la persona hace con lo que sabe, como aplica sus conocimientos • APTITUD: Capacidad para desempeñarse competentemente en actividad: • CIENTÍFICA • MUSICAL • MECÁNICA • Etc. • APTITUD ACADÉMICA • Razonamiento Verbal • Razonamiento Matemático

  9. CONSTRUCCIONES LÓGICASPruebas de Aptitud vs Conocimiento • Conocimiento: • Teoría = Currículo • Conocimiento NO es MEMORIA unicamente • Taxonomía cognitiva de Bloom: • MEMORIA: aprendizaje y recuerdo de términos y conceptos • COMPRENSIÓN: comparar, extrapolar, organizar ideas • APLICACIÓN: uso del conocimiento • ANÁLISIS: extraer y organizar información para hacer inferencias y apoyar generalizaciones • SÍNTESIS: derivar relaciones abstractas, proponer planes y operaciones eficientes • EVALUACIÓN: opiniones y juicios informados; juicios sobre validez en función a criterios internos y externos

  10. Cuestionamientos frecuentes al examen estandarizado • Influencia excesiva en la toma de decisiones administrativas y educativas • No evalúan niveles superiores de conocimiento y destrezas de pensamiento • No evalúan adecuadamente la capacidad de integrar, sintetizar, encontrar soluciones innovadoras, crear, imaginar • Se le da mucha importancia en perjuicio de otras formas de evaluar mas ligadas al proceso de enseñanza-aprendizaje • Disonancia entre los objetivos propuestos y la realidad de los estudiantes • Disonancia entre los objetivos propuestos y la realidad de la docencia • La inclinación a “enseñar para el examen” puede restarle amplitud, espontaneidad y creatividad al proceso de enseñanza-aprendizaje

  11. Modelo para el Desarrollo de un Examen

  12. Modelo del proceso de desarrollo de un examen Justificación o necesidad para el examen Por qué el examen Para qué el examen Para quién el examen Etapa de planificación Recursos humanos Recursos económicos Calendario Infraestructura Consideraciones políticas, técnicas y prácticas Etapa de diseño Fundamento teórico (validez de construcción) Criterios y estándares curriculares Tipo de examen/ítems Especificaciones Revisión Etapa experimental - prepruebas Evaluación Redacción de items Análisis Psicométricos Revisión/evaluación Etapa operacional Administración Análisis psicométricos (controles de calidad) Desarrollo de escalas o métricas y calificación Informes e implantación Validación y Seguimiento Formas nuevas, equiparación Etapa de investigación Evaluación y revisión

  13. Justificación o necesidad para el examen • Propósito educativo: ¿Por qué se quiere un examen?, ¿Cuál es el propósito?, ¿Cuál es la necesidad o problema que espera resolver? • Uso: ¿Para qué se usará el examen? • Diagnóstico individual • Diagnóstico sistémico • Promoción de un nivel educativo a otro • Ingreso a universidad • Graduación (salida) • Certificación de competencias profesionales • Población: ¿Para quién será el examen? • Población a la que va dirigido • Nivel que se interesa evaluar • Toda la población del nivel seleccionado o una muestra

  14. Etapa de planificación • Recursos humanos disponibles • ¿Quiénes desarrollarán el examen?: centro profesional de evaluación de la institución; grupo adhoc de docentes con asesoría especializada; organismo externo; combinación de los componentes anteriores • Asignación y distribución de los recursos humanos • Recursos económicos • Cuánto dinero habrá disponible para el desarrollo, operación y mantenimiento del examen • Quién pagará el examen: universidad, estudiantes, otros recursos • Infraestructura • Equipo • Espacio • Calendario: • Para cuándo se quiere el examen

  15. Consideraciones políticas, técnicas y prácticas • Políticas: Impacto y aceptación de los distintos sectores universitarios: recintos, administración, facultad, estudiantes; probabilidad de continuidad más allá de cambios administrativos • Técnicas: Tipo de examen que se requiere para el uso; contenido; tipos de ítems; análisis estadísticos requeridos; nivel de dificultad; tiempo; comparabilidad • Prácticas: Tiempo para el desarrollo e implantación; recursos económicos y humanos; infraestructura para el desarrollo, aplicación y calificación

  16. Etapa de diseño • Fundamento teórico: Teorías, modelos y marco conceptual para fundamentar el examen; tipos de examen; formatos de ítems • Criterios y estándares curriculares: en los que se sustentará el examen • Determinación del tipo de examen e ítems • Determinación de las especificaciones: contenidos, cantidad de ítems total y para cada área, dificultad, niveles de abstracción de los ítems, destrezas evaluadas, especificaciones estadísticas

  17. Proceso de desarrollo • Selección y adiestramiento de los redactores • Redacción de ítems • Revisión y edición de ïtems: diversas revisiones internas y externas, revisión de contenido, de lenguaje, de estereotipos, de formato • Construcción de prepruebas • Administración de prepruebas: Selección de muestra representativa, adiestramiento, diseño de materiales administrativos • Análisis estadísticos y psicométricos de los ítems: dificultad, discriminación, confiabilidad, ajuste, etc. • Evaluación y revisión de los ítems • Selección de losítems que conformarán la versión operacional

  18. Aspectos de control de calidad a considerar: • I- Selección de los comités de examinadores, redactores y otro personal experto • II- Desarrollo de las pruebas • III- Materiales de apoyo y procesos de aplicación de las pruebas • IV- Controles de calidad estadísticos y psicométricos • V- Controles de calidad de calificación e informes de resultados

  19. I-Selección de los comités de examinadores, redactores y otro personal • Trabajo en equipo de • especialistas en contenido específico, redactores y editores especializados • expertos en desarrollo de pruebas, psicómetras, expertos en medición, estadísticas y evaluación. • Personal o servicios de apoyo: sistemas de información, personal clerical y secretarial, artistas gráficos, personal de imprenta y otros

  20. I-Selección de los comités de examinadores, redactores y otro personal • Comités de examinadores: • Expertos o conocedores de la materia • En el caso del comité de la Prueba de Aptitud Académica se seleccionan especialistas en diversidad de áreas: • Linguística o literatura • Filosofía • Matemáticas y Ciencias • Ingeniería • Psicología y psicometría • Educación • Representatividad: • Balancear proporcionalmente: • Género y edad • Área académica • Geográfica e Institucional • Rotación de miembros del comité

  21. FUNCIONES Y DEBERES DEL COMITÉ DE EXAMINADORES DE LA PRUEBA DE APTITUD ACADÉMICA (PAA) • Analizar los ofrecimientos académicos para los estudiantes a quienes se dirige la prueba. • Para la PAA, estudiantes de primer ingreso a nivel postsecundario y los ofrecimientos a nivel secundario, a la luz de la política de admisión de las instituciones postsecundarias latinoamericanas. • Participar en el análisis de los desarrollos del programa de pruebas de admisión postsecundaria, así como del uso y los efectos de éstos en el proceso de admisión. • Evaluar el uso de resultados de la prueba. • Revisar las Especificaciones del contenido y nuevos enfoques de la Prueba. {1 de 2}

  22. FUNCIONES Y DEBERES DEL COMITÉ DE EXAMINADORES DE LA PRUEBA DE APTITUD ACADÉMICA (PAA) • Recomendar y ponderar cambios que la Prueba amerite. • Ayudar en la preparación de las guías para los redactores. • Revisar o ayudar en la definición de los procedimientos y la preparación de las guías de los examinadores. • Revisar los ejercicios que preparen los redactores y, de ser necesario, redactar otros para cumplir con las Especificaciones de la Prueba. • Examinar el modelo de la prueba que se administrará a los estudiantes. • Participar en el análisis de documentos y artículos pertinentes. • Revisar el material de divulgación para los estudiantes y la Guía de Estudio para tomar las Pruebas. (2 de 2)

  23. Selección de redactores de reactivos • Como redactores participan expertos de contenido, usualmente facultad universitaria. • Se adiestran por personal especializado en el desarrollo de pruebas en talleres de 1 a 3 días dependiendo de la experiencia previa de los redactores y las necesidades operacionales. • Se aplican criterios de representatividad análogos a los usados para el comite examinador (género, edad, etc.) • La labor del redactor se evalúa mediante: • Evaluación del coordinador del programa de pruebas quien preselecciona el material para someter al comité examinador • La evaluación a que se somete el material nuevo en el comité de examinadores • Evaluación por editores de reactivos y de pruebas quienes han sido previamente redactores con experiencia y producción de calidad. • Evaluación estadística y psicométrica

  24. Desarrollo de las Pruebas • Desarrollo de especificaciones: • CONTENIDO: • CONCEPTUALIZACIÓN, TEORÍA O CURRÍCULO • Consideraciones del comité examinador • AREAS • IMPORTANCIA • PESO • DIFICULTAD • VALIDACIÓN DE ESPECIFICACIONES • Análisis de validez de contenido • PSICOMÉTRICAS • PARALELISMO • DISTRIBUCIÓN DE DIFICULTADES DE LOS EJERCICIOS • DISCRIMINACIÓN • AJUSTE A MODELOS DE MEDICIÓN • UNIDIMENSIONALIDAD • Independencia local • VALIDEZ DE CONSTRUCCIÓN LÓGICA: • CONSIDERACIONES ESTRUCTURALES

  25. Consideraciones cualitativas en el desarrollo y evaluación de los ejercicios: Análisis de sensibilidad: • información o descripciones que puedan afectar a algún grupo (social, religioso o étnico). • material (lecturas, vocabulario, etc.) con estereotipos • efectos de contexto que se pueda prestar a diferentes interpretaciones • El contenido de un ejercicio aparece aislado y no dentro del contexto del material lo cual afecta la interpretación correcta • material que se considere sensitivo, polémico o controvertible debe excluirse de la prueba • Redactores, comités, editores y personal especializado toma en consideración estos aspectos al momento de desarrollar y seleccionar material para preprueba.

  26. Consideraciones cualitativas en el desarrollo y evaluación de los ejercicios: • Perspectiva cognoscitiva/afectiva – Estas dos dimensiones deben considerarse cuando se evalúan textos, en las pruebas, que hagan referencia a sectores específicos de una sociedad o cultura. • Ejemplo: • dimensión cognoscitiva: presentar datos que confirmen que un determinado sector social tiene un mayor índice de criminalidad • dimensión afectiva: información que pueda herir la sensibilidad de un grupo.

  27. Consideraciones cualitativas en el desarrollo y evaluación de los ejercicios: • Investigaciones (Englehard, et.al.,1990) sugieren que es más fácil identificar deficiencias o vicios culturales en los reactivos y más difícil estimar deficiencias técnicas como: • Nivel de dificultad del reactivo • Estimado de discriminación • Dependencia o independencia del reactivo • Contribución del reactivo a la estructura factorial

  28. Algunas consideraciones en la redacción y evaluación de ejercicios: • Se requiere que los ejercicios sean independientes unos de otros • Un ejercicio no debe proveer o sugerir la solución a otro • Los ejercicios que forman parte de un grupo, como los ejercicios de lectura, tabla con datos para interpretación, etc., han de hacer referencia a la información presentada, pero no deben depender uno del otro. • Los ejercicios han de adaptarse a las características de la poblacion a la que van dirigidos: • Vocabulario o léxico • Nivel de dificultad • Niveles de desarrollo humano (edad, etc)

  29. Algunas consideraciones en la redacción y evaluación de ejercicios: • El enunciado ha de presentar solamente un problema central • Si al leer la frase principal del enunciado, ocultando las opciones, se puede entender de qué trata el problema o pregunta, el ejercicio cumple con este requisito. • El problema ha de expresarse con precisión • El ejercicio debe redactarse con sencillez y corrección • No se debe incluir más información de la necesaria para contestar.

  30. Algunas consideraciones en la redacción y evaluación de ejercicios: • Un ejercicio se puede presentar tanto de forma negativa como positiva, es preferible la forma positiva. Los ejercicios con situaciones o problemas presentados en forma negativa tienden a confundir al examinando • Si es necesario emplear una forma negativa, la palabra negativa debe presentarse en mayúsculas, es decir, MENOS, EXCEPTO, NO, etc.

  31. Algunas consideraciones en la redacción y evaluación de ejercicios: • Las opciones han de ser tan breves como sea posible. Cuando las opciones son excesivamente largas, casi siempre incluyen problemas adicionales al expuesto en el enunciado. • Las opciones que son mucho más cortas o más largas que las demás tienden a ser obviamente correctas o incorrectas

  32. Ensamblaje de la prueba: • Selección de ejercicios de acuerdo a especificaciones de contenido y psicométricas • Contenido • ÁREAS • IMPORTANCIA • PESO • Características estadísticas y psicométricas en la selección de los reactivos o ejercicios individuales • Dificultad y su distribución • Observada y calibrada • Discriminación • Ajuste estadístico (INFIT y OUTFIT) • Tiempos asignados a las secciones y por ejercicio • ESTRUCTURA FACTORIAL • PARALELISMO con formas anteriores

  33. Ensamblaje paralelo: • Es necesario que distintas versiones midan la misma construcción lógica • Estructuras factoriales similares • Procedimiento: creación de especificaciones que detallen las construcciones lógicas representadas en la prueba • Identificar los reactivos por construcción lógica ayuda a desarrollar versiones paralelas

  34. Consideraciones adicionales en el desarrollo de las pruebas: • Desarrollo de hojas de claves de respuesta • Descripción de contenido y estadísticas de ejercicios que consituirán la prueba • Edición de claves • Mascarillas de respuesta • controles de calidad mediante calificación manual • Contraste con calificación computadorizada • Consideraciones de estilo y formatos de presentación • Uso de mayúsculas, tipos (fonts), tamaño de letra, etc. • INSTRUCCIONES A LOS ESTUDIANTES EN EL EXAMEN • FORMATOS DE INSTRUCCIONES • DESARROLLO DE EJEMPLOS DE TIPOS DE EJERCICIO EN CADA SECCIÓN • INSTRUCCIONES EN EL MANUAL DEL EXAMINADOR • CONCORDANCIA ENTRE MANUAL, EXÁMEN y HOJA DE RESPUESTA

  35. III-Materiales de apoyo y procesos de aplicación • Desarrollo y controles de calidad de las hojas de respuesta • Diseño concorde a estructura del examen • Campos de identificación • Número único de identificación, códigos de barra, etc. • Coordinación con sistemas de información • INSTRUCCIONES • En el manual del examinador: • Funciones del examinador y examinador auxiliar • Desarrollo de instrucciones específicas ‘verbatim’ • A ser leídas a los estudiantes en la administración del examen • A ser leídas y estudiadas por los examinadores previo a la administración de examen

  36. III-Materiales de apoyo y procesos de aplicación • Desarrollo de Guías para el estudiante con pruebas o ejemplos de ejercicios • Desarrollo o revisión de materiales de inscripción con información de: • Calendario de pruebas • Costos o cuotas • Formularios de inscripción, cuestionarios, etc.

  37. Materiales de apoyo y procesos de aplicación • Lectura y controles de calidad de las hojas de inscripción para tomar la prueba • Preparación y envío de boletos de inscripción • Directores de Centros de Examen: • Organización administrativa mediante reuniones de orientación Reciben adiestramiento que a su vez transmitirán, junto a materiales de apoyo (manuales, instrucciones, etc) a los examinadores y sus auxiliares

  38. Materiales de apoyo y procesos de aplicación • Procesos de control de distribución de exámenes • Diseño de ‘spiralling’ • Representatividad de subformas de preprueba y subformas de calibración • Implicaciones para impresión y distribución de folletos

  39. Materiales de apoyo y procesos de aplicación • Desarrollo y controles de calidad de matriculados o inscritos en el examen • Métodos de corroboración de identidad • Preparación y distribución de boletos de admisión individual al salón de examen • Desarrollo y distribución de listas de inscritos para los centros de examen: • Para el Director de Centro • Para los examinadores (por salón, etc.) • Materiales para el control de distribución y recogido de exámenes • Hojas de cotejo y conteo para el director de centro de examen Hojas de cotejo y conteo para los examinadores Informes de examinadores y hojas de irregularidades • Control extricto de distribución y recopilación de folletos de examen y otros materiales

  40. IV- Controles de calidad estadísticos y psicométricos • Los resultados de análisis estadísticos y psicométricos se utilizan para: • La evaluación de las características y calidad de versiones nuevas de las pruebas y de los nuevos ejercicios de preprueba • El desarrollo del banco de ejercicios y de pruebas nuevas • Operacionalización de los procesos de calificación • Controles de calidad de los procesos de calificación • Calibración, equiparación y desarrollo de escalas • Ensamblar pruebas nuevas • Controles de calidad de los reactivos o ejercicios que consituyen las nuevas versiones de prueba • Calidad de la prueba como unidad total de medición • Desarrollo de versiones paralelas

  41. Psicometría: • AREA ESPECIALIZADA DE INVESTIGACIÓN PARA EL ANÁLISIS DEL DESARROLLO, CONFIABILIDAD Y VALIDACIÓN DE INSTRUMENTOS DE MEDICIÓN

  42. Dos conceptos psicométricos fundamentales: • Dos objetivos principales de los procesos de desarrollo psicométrico de las pruebas son lograr: • Confiabilidad • Validez • Para que un instrumento sea válido tiene que ser confiable • Validez < (confiabilidad) • Ej: confiab.=0.80: validez < 0.64 2

  43. Que es una medida: • una VARIABLE que define cuantitavamente una propiedad o característica • medir es asignar numeros a las cantidades de las propiedades de los objetos • se mide de acuerdo a reglas cuya validez puede ser sometida a prueba empírica

  44. Niveles de medición y estadísticas descriptivas (1 de 3) • Medición: asignación de símbolos a eventos de acuerdo a reglas • Las reglas varían en complejidad • cada nivel de complejidad lleva implícito un nivel de medición distinto • la complejidad difiere con respecto a la CANTIDAD de INFORMACION que representan los números • una escala de medición consiste de: • un conjunto de reglas de acuerdo al nivel de medición • una definición operacional de los atributos o eventos a medirse

  45. Niveles de medición y estadísticas descriptivas (2 de 3) • Nominal- clases discretas de eventos • Ordinal- clases discretas ordenadas por rango; provee el orden de los objetos en la escala (mayor que, menor que) • Intervalo- medición ordinal con distancias iguales entre las clases discretas; provee información de las magnitudes de las diferencias y no solo del orden o rango • Razón- medición de intervalo con un cero no arbitrario; tiene unidades iguales a traves de la variable; NO necesita referencias externas a la medida misma ya que utiliza el cero como referencia

  46. Niveles de medición y estadísticas descriptivas(3 de 3)

  47. Requisitos basicos para medición: • requiere localizar un objeto en un punto de un continuo abstracto • reducción de la experiencia a una abstracción de una sola dimensión • comparación de más (+) o menos (-) entre A y B (B=personas; A=ítemes) • interacción de personas e ítemes para producir información útil • magnitud y dirección linear inherente en la ubicación de objetos en una línea

  48. Otros requisitos para medición • aditividad- significa que personas e ítemes se definen linealmente y se puede diferenciar entre habilidad de las personas y dificultad de los ítemes • para lograr aditividad es necesario separar parámetros de ítemes y parámetros de personas • suficiencia estadística- implica separabilidad: capacidad del modelo para factorizar como producto (multiplicación) cada parámetro y las estadísticas asociadas al mismo- debe resumir la información relevante que suple la muestra • objetividad específica: requiere que las diferencias entre pares de objetos o medidas (calibraciones) sean independientes de las muestras; • la medida provee la localización de objetos en el continuo • la misma escala (métrica) se usa para definir la localización de diversos objetos (ítemes o personas en el modelo Rasch)

  49. De los ítemes dificultad observada y calibrada discriminación de cada opción factor de corrección por respuestas al azar ajuste del ítem al modelo psicométrico curvas características del ítem De la prueba confiabilidad alpha de Cronbach y de Teoría de Respuesta al Ítem dificultad observada y calibrada discriminación de la prueba total error de medición análisis factorial ANÁLISIS PSICOMÉTRICOS

  50. Análisis de itemes • Estimados de dificultad • Modelos clasicos • Modelos IRT • Estimados de discriminación • Biserial • “Infit” • Otros

More Related