Instrumentos de Evaluación y desarrollo de reactivos Capacidades Técnicas

1. Instrumentos de Evaluación y desarrollo de reactivos Capacidades Técnicas Septiembre del 2007 Dirección General de Ingreso, Capacitación y Certificación

2. Agenda • Bienvenida • Presentación • Dinámica • Curso“Instrumentos de evaluación y desarrollo de reactivos” para Capacidades Técnicas • Receso • Curso • Evaluación. Dirección General de Ingreso, Capacitación y Certificación

3. Objetivo del Curso Compartir los conocimientos teóricos y prácticos que facilitan el desarrollo de instrumentos de evaluación para las capacidades directas y técnicas, así como, dar a conocer el funcionamiento de operación del Módulo Generador de Exámenes. Dirección General de Ingreso, Capacitación y Certificación

4. Que conocimientosadquiero • Conocer que es una herramienta de evaluación. • Tipos de herramientas de evaluación. • Cómo diseñar una herramienta de evaluación desde la descripción de la capacidad, considerando las fases que abarca, y los aspectos a cuidar. • El diseño de reactivos, la validación y ensamblaje de pruebas • Proceso de carga, edición, criterios, estructura, programación, inscripción y revisión de pruebas en el Módulo Generador de Exámenes. Dirección General de Ingreso, Capacitación y Certificación

5. Dinámica de Integración Dirección General de Ingreso, Capacitación y Certificación Agosto del 2007

6. Qué es una herramienta de evaluación Es el grupo de preguntas, tareas, casos y/o dilemas, así como sus reglas de aplicación y de procesamiento e interpretación de sus resultados, diseñados para medir una o más capacidades de una persona.

7. Sus características Objetiva Enfocada a los aspectos que se van a medir y sin posibilidad de interpretación. ConfiableQue arroje resultados consistentes. Válida Que mida lo que debe medir.

8. Tipos de evaluaciones • Conocimientos: • Pruebas objetivas (examen de opción múltiple) • Método de casos (Solución de problemas). 2. Conductuales. • Pruebas prácticas • 360° • Assessment center • Bandeja de entrada (desarrollo de caso vivencial) • Portafolio (Productos o proyectos finales) • Evaluación tipo sinodales o por pares. • Método de casos (Solución de problemas). • Diario de actividades. • Mapas mentales.

9. Etapas para su desarrollo

10. Diseño Es la planeación del instrumento. • Perfil de referencia: • Es el fundamento de la prueba. • Es el objeto de medida de la prueba • Relacionado a la capacidad. incluyendo: tema, subtemas y nivel de profundidad del conocimiento que se pide llamado nivel taxonómico de la capacidad.

11. Diseño b. Tabla de Especificaciones • Presenta la organización lógica de los componentes definidos operacionalmente • Establece el nivel y tipo cognoscitivo con que deberán ser medidos en la prueba (descrito en la capacidad) • Señala el número de reactivos que deberán elaborarse por cada componente • Esto puede establecerse: • Con un número estándar de reactivos por tema, para piloteo. • Por nivel de relevancia del tema

12. Diseño

13. Elaboración Es la construcción de la prueba con base en el diseño y en la tabla de especificaciones • Se debe de partir de la descripción de la capacidad. • Se realiza a partir de la evaluación de la capacidad a los diferentes niveles de dominio por medio de reactivos de opción múltiple, o de puntuaciones asignadas a tipo de respuesta en relación con una conducta modelo.

14. Elaboración Desarrollo del Instrumento Deben abarcar todos los aspectos contemplados en la descripción de la capacidad, el perfil de referencia y la tabla de especificaciones. • Conocimientos Puede estar formado por: • Preguntas de opción múltiple: completamiento, apareamiento, solución de problemas, jerarquización, identificación de graficas o diagramas y cuestionario directo. • Preguntas abiertas • Situaciones prácticas, etc.

15. Elaboración I. Pruebas Objetivas • En este tipo de examen se recurre a preguntas de opción múltiple, donde se recomienda utilizar cuatro posibles opciones de respuesta (una correcta, tres incorrectas). • Se puede presentar en las siguientes modalidades: cuestionamiento directo, resolución de problemas, jerarquización u ordenamiento, completamiento de oraciones, relación de columnas e identificación de gráficas o diagramas, entro otros.

16. Elaboración II. Reactivos de opción múltiple • La respuesta de un reactivo, no debe depender de la solución de otro, ni ayudar a contestar otro. • Solamente debe de evaluar un resultado de aprendizaje • Evaluar conocimientos muy específicos, solo si el tema y el objetivo de aprendizaje lo requieren. • Considerar el nivel intelectual y cultural de la población a la que va dirigido. • Evitar el uso de léxico complejo, poco comprensible o ambiguo. • El tiempo estimado de su resolución debe de ser aproximadamente un minuto y medio, por pregunta.

17. Elaboración II. Reactivos La base de el reactivo o premisa, debe: • Ser corta, directa y sin rebuscamientos en su redacción. • Presentarlo en forma declarativa o interrogativa. • Debe entenderse sin leer las opciones de respuesta. • Es mejor usar frases simples: sujeto + predicado + modificaciones. • Formular claramente una pregunta de manera que el examinando pueda entenderla sin recurrir a las alternativas y sin recargarla con material innecesario. • Estar libre de indicios (claves) sobre cuál es la respuesta correcta y evitar el empleo de términos que confundan. • Debe tener los elementos necesarios para ser contestado .Evitar información adicional irrelevante. • Evaluar un conocimiento, no la opinión del evaluado. • Si se usa un negativo, este debe de ser subrayado. • No abusar de las abreviaturas.

18. Elaboración Las alternativas u opciones de respuesta: • Las respuestas correctas deben colocarse al azar, distribuidas equitativamente entre las posiciones. • Guardar estrecha relación con la premisa. • Evite usar opciones de respuesta como “ninguno de estos”, “ninguno de los anteriores”, etc. • Tener la misma estructura gramatical. • Excluirse mutuamente. No incluir respuestas parecidas que suponga duplicidad de certeza. • Ser homogéneas en contenido. • Presentarse en la forma más simple posible.

19. Elaboración Los gráficos. • Se emplearán solamente cuando sean necesarios para contestar el reactivo. • Deben contener todos los elementos esenciales para su interpretación.

20. Elaboración Importante Es indispensable que para cada reactivo se especifique: • Tema • Nivel Cognitivo • Respuesta correcta • Referencia bibliográfica

21. Elaboración Ejemplos: ¿Qué significan las siglas de la prueba psicométrica conocida como “DAT”? • a) Differential Aptitude Test • b) Duración Aproximada del Tratamiento • c) Ninguna de las anteriores • Tema: pruebas psicométricas • Nivel: Comprensión • Respuesta correcta: A • Referencia. Bellak (2007). Pruebas proyectivas. Pág. 15. ¿Cuál es la instrucción básica que reciben los evaluados por medio de la técnica de Karen Machover? • a) “Dibuja una persona” • b) “Escribe una historia” • c) “Selecciona 6 colores”

22. Elaboración Reactivos de complementación: • Evitar espacios en blanco porque las oraciones pierden el sentido y la unidad, dificultando la comprensión. • Los espacios en blanco que se dejen no deben sugerir la respuesta. • Las respuestas no deben constituir frases muy largas. • Evitar colocar el artículo delante del espacio en blanco porque sugiere la respuesta. • No usar frases ni párrafos textuales porque eso estimula el uso de la memoria mecánica. • Las oraciones deben estar redactadas como afirmaciones. • Evitar usar datos innecesarios porque esto tiende a confundir o a disminuir el índice de dificultad del reactivo. • Evitar el uso de dobles negativos. • Cuando se emplee un negativo, este debe ir subrayado o en negritas.

23. Elaboración Ejemplos: El _____________________________ es una prueba que permite la evaluación de la personalidad por medio de una técnica proyectiva de dibujo. • El Test de la casa – árbol – persona • La Escala de Weschler • La Técnica Cleaver ______ es la prueba psicológica proyectiva que se basa en tarjetas con dibujos y que sirve para la evaluación de la personalidad. • a) DAT • b) TAT • c) HTP

24. Elaboración Reactivos de verdadero o falso • La redacción debe ser clara. Debe poderse determinar inequívocamente que el reactivo es Verdadero o Falso. • Evite el uso de determinantes específicos tales como: “siempre”, “nunca”, “generalmente”, “ningún”, algunas veces”, etc. • Evite el uso de expresiones “frecuentemente”, “en la mayoría de los casos”, pues tales expresiones no son interpretadas de la misma manera por las personas. • Evite los enunciados negativos y especialmente de doble negación. • No incluir más de una idea en la enunciación, especialmente si una es verdadera y la otra es falsa. • Procure que aproximadamente la mitad de los reactivos sean verdaderos y el resto falsos. • Evite los reactivos obvios. • Los reactivos deben medir conocimiento, no opiniones personales.

25. Elaboración Ejemplos: Un buen empleado es aquel que no evita no asistir puntualmente a su lugar de trabajo. Además, procura entregar sus reportes en tiempo y forma. • a) Cierto • b) Falso Se considera un retardo el que un empleado llegue a su lugar de trabajo después de 25 minutos de la hora establecida. • a) Cierto • b) Falso

26. Elaboración • b. Comportamientos • Assessment Center Técnica de observación y recopilación de evidencias de comportamiento, mediante simulaciones o situaciones equiparables a las que pueden presentarse en el desempeño de un puesto y que permite evaluar las capacidades gerenciales de un servidor público o un aspirante.

27. Elaboración • Assessment Center Ejercicios: • Bandeja de entrada • Trabajo en equipo: con o sin soles asignados • Solución de problemas • Elaboración de documentos • Elaboración de presentaciones, entre otros

28. Ejercicio Juego de roles

29. Elaboración II. Mapas Mentales • Son representaciones mentales. Es la imagen que la persona se forma acerca del significado de un conocimiento. • El mapa mental consiste en una representación en forma de diagrama que organiza una cierta cantidad de información. Parte de una palabra o concepto central (en una caja, círculo u ovalo), alrededor del cual se organizan 5 ò 10 ideas así como palabras relacionadas a dicho concepto. Cada una de estas palabras se pueden convertir en concepto central y seguir agregando ideas o conceptos asociados a él.

30. Elaboración II. Mapas Mentales Ejercicios: • Representaciones de procesos. • Representaciones de estructuras organizacionales. • Representación de funciones • Representación de perspectivas, entre otros.

31. Ejercicio

32. Elaboración III. Portafolio • Su uso permite ir monitoreando la evolución de la persona, de tal manera que se puedan ir introduciendo cambios durante dicho proceso: cómo piensa, cómo cuestiona, analiza, produce o crea, y cómo interactúa (intelectual, emocional y social) con otros. • Arter y Spandel (1991)lo definen como una colección de documentos en base a un propósito; esta colección representa el trabajo de la persona que le permite a él mismo y a otros ver sus esfuerzos de logros en una o diversas áreas de contenido. Recomendaciones para su elaboración: (Medina y Verdejo, 1999): • Determinar el propósito. • Seleccionar el contenido y la estructura. • Decidir cómo se va a manejar y conservar el portafolio. • Establecer los criterios de evaluación y evaluar el contenido. • Comunicar los resultados

33. Elaboración III. Portafolio Ejemplo: • Productos terminados. • Documentos elaborados. • Evidencias de trabajo. • Reportes de trabajo.

34. Elaboración IV. Rúbricas o Matrices de Valoración • Matrices de Valoración (Rúbricas / Rubric en inglés), se encuentran dentro del sistema de valoración integral. • En su construcción se debe ubicar la escala para calificar los criterios en la fila superior. En la primera columna, se ponen los aspectos o categorías a evaluar (objetivos que se desea alcanzar). Por último, en las celdas centrales se describen con la mayor precisión posible, los criterios para evaluar esos aspectos o temas

35. Elaboración • En la escala de calificación de los criterios (fila superior) puede emplearse una valoración que incluya: Muy Competente, Competente, Aceptable, No Aceptable y No Aplica. • También puede utilizarse una escala progresiva que vaya de “Excelente” a “Pobre” o expresarse en forma numérica. • Es conveniente agregar una tabla de convenciones que especifique lo que significa cada uno de los grados de la escala. • Establecer mínimos necesarios.

36. Ejemplo

37. Ejemplo:Presentación oral

38. Elaboración Consiste en la apreciación que tienen diversas personas sobre el los conocimientos o comportamientos de una de ellas o de un tercero, como medio para establecer su dominio o nivel de dominio probable de una capacidad compuesta por esos conocimientos o comportamientos. Incluye a la propia persona evaluada, pares, superiores, colaboradores y, en ocasiones, clientes y/o proveedores. V. 360° o Evaluación Integral

39. Elaboración V. 360° o Evaluación Integral Superior Pares Pares Persona evaluada Colaboradores Colaboradores Proveedores o clientes

40. Piloteo • Monitorear la confiabilidad y validez de los exámenes • Vigilar el nivel de dificultad y la capacidad de discriminación de los exámenes • Generar bancos de reactivos suficientemente amplios • Realizar pilotajes de los exámenes • Generar exámenes que evalúen el nivel de comprensión de un tema, ir mas allá de evaluar la MEMORIA

41. Validación • Consiste en analizar los resultados de aplicaciones preliminares de la prueba para confirmar estadísticamente suvalidez y su confiabilidad así como establecer las condiciones definitivas para el manejo y administración del instrumento con los usuarios. • Antes de calificar se debe de considerar: • Índice de dificultad. Corresponde al índice obtenido por el número de personas que responden correctamente el reactivo. El rango de dificultad aceptable va de .20 a .80 • Índice de discriminación.Un reactivo de discriminación aceptable, es aquel que diferencia a los que saben de los que no.

42. Calificación Es el mecanismo de ponderación y valoración de los resultados obtenidos • Utilizar un criterio de calificación y explicarlo. • En el caso de prueba objetiva: Analizar la dificultad de reactivos, considerando para la calificación los que se encuentren en el rango de aceptables, mejorar los reactivos que no estén en ese rango. Analizar la discriminación de estos, en caso de que no discriminen, revisar redacción del reactivo y los distractores para plantearlo de manera diferente. • Establecer con base a lo anterior los puntos de corte. • En el caso de prueba práctica, puntaje aprobatorio

43. Preguntas por etapa

44. Módulo Generador de Exámenes Dirección General de Ingreso, Capacitación y Certificación Septiembre del 2007

45. RH Generación / Actualización del Catálogo de Competencias Técnicas Inicio Creación del Tema de Examen Generación del Pool de reactivos Configuración del Examen Candidato Asignación del Examen Aplicación del Examen Consulta de Resultados Toma de Decisiones Fin Proceso de evaluación

46. Administrador del Modulo Generador Dirección General de Ingreso, Capacitación y Certificación Septiembre del 2007

47. Menú principal

48. Tipos de usuarios • Administrador • Elaborador de reactivos • Aplicador de Evaluaciones

49. Usuario del sistema

50. Menú principal