Diseño y aplicación de rúbricas OnLine : Herramientas que facilitan la evaluación

1. Diseño y aplicación de rúbricas OnLine: Herramientas que facilitan la evaluación Dra. Ingrid Kirschning

2. Evaluación En el quehacer académico continuamente se realizan evaluaciones y auto-evaluaciones: • Para acreditar programas e instituciones • Para revisiones curriculares, etc. Se evalúan (principalmente): • Estudiantes • Programas académicos • Procesos, etc.

3. Evaluación de programas académicos • Es un proceso continuo diseñado para monitorear y mejorar el aprendizaje del estudiante. • La facultad debe: • Definir explícitamente las metas • Verificar que el programa esté enfocado a facilitar su adquisición / desarrollo • Desarrollar un plan de evaluación significativo, manejable y sostenible. • Recolectar evidencias • Evaluar esta evidencia y sacar conclusiones • Usar estos resultados para mejorar el proceso enseñanza-aprendizaje (cerrando el ciclo)

4. Evaluando la Evidencia • Por lo general esta evaluación involucra juicios subjetivos, relacionados a productos o conductas complejos. (ensayos, prácticas de laboratorio, etc.) • Las rúbricas proporcionan los criterios para guiar estos juicios subjetivos, para determinar si se cumplen de manera satisfactoria o no.

5. ¿Qué son las Rúbricas?

6. Rúbricas • Las rúbricas proporcionan los criterios para evaluar algo. • Pueden ser usadas en el ámbito académico para evaluar casi cualquier producto o conducta: • ensayos, • reportes de investigación, • portafolios, • obras de arte, • recitales, • presentaciones orales, • actuaciones y • actividades por equipos.

7. Rúbricas • Las rúbricas pueden ser usadas para que • el estudiantes entienda los que se espera de él, • proveer retroalimentación formativa, • calificar a estudiantes, • evaluar cursos y programas, etc. • Pueden ser autoevaluaciones o pueden ser realizados por otros: • los maestros, otros estudiantes, supervisores de trabajo de campo, y revisores externos.

8. Tipos de Rúbricas Existen dos tipos o grupos de rúbricas: • Rúbrica holística: • una rúbrica global, da una calificación holística para un producto o conducta • Rúbrica analítica: • Varios criterios separadas, que se califican un producto o conducta en torno a una meta general.

9. Una rúbrica útil • Cuando los resultados que arroja me permiten tomar decisiones. • Los criterios deben estar claramente definidos, sin ambigüedades. • Debe estar alienada a la misión o meta establecida. • Los niveles deben ser suficientes para clasificar

10. Ejemplo de Rúbrica (extracto)

11. Las rúbricas tienen muchas fortalezas • Productos o conductas complejos pueden ser examinados eficientemente. • Desarrollar una rúbrica ayuda a definir con precisión las expectativas de la facultad. • Revisores aplican los mismos criterios y estándares. • Las rúbricas se refieren a criterios, más que a una norma: • La pregunta es: • “¿cumple el estudiante con el criterio en un nivel X de la rúbrica?” • y no “¿qué tan bien trabaja un estudiante comparado con otro?”.

12. Los cuatro niveles típicos de una rúbrica • Malo. El nivel de entendimiento demostrado claramente no reúne las expectativas. Las ideas principales pueden haber sido omitidas, imprecisas, o irrelevantes para el trabajo. • Necesidad de mejora. El estudiante demuestra cierto nivel básico de entendimiento; el estudiante podría no desarrollar ideas completas o podría usar conceptos incorrectamente.

13. Los cuatro niveles típicos de una rúbrica • Reúne las expectativas. El estudiante reúne nuestras expectativas, desempeña un nivel aceptable, demuestra un buen entendimiento, etc. • Excede las expectativas. El estudiante excede nuestras expectativas, demuestra un nivel sofisticado, identifica matices sutiles, desarrolla ideas frescas, ideas integradas en formas creativas, etc.

14. Etiquetas usadas por categoría

15. Creando una Rúbrica • Se puede adaptar una rúbrica ya existente. • Método analítico: se recomienda crear un grupo de trabajo que tiene experiencia con el diseño de competencias y la impartición de cursos para facilitar/fomentar las mismas. Pregunta para diseñar la rúbrica: Por cada competencia o meta: ¿Cuáles son las características que distinguen al estudiante que tiene un desempeño aceptable del que no?

16. Evaluar vs. Calificar Esto puede causar confusión… pero: Las rúbricas para calificar pueden incluir criterios que no están relacionados con los objetivos de aprendizaje del curso. (Estos serán ignorados en una evaluación) Calificar requiere más precisión que la evaluación. Calificar resulta en un puntaje o calificación; las rúbricas analíticas resultan en múltiples puntajes que son examinados por separado.

17. Ejemplo: vamos a crear una rúbrica • Esta rúbrica será pata evaluar un curso – no para calificar al estudiante. • Paso 1: definir la meta u objetivo de aprendizaje del curso: En una frase enuncia la meta del curso – Es posible que haya varias metas, pero trata de identificar la parte medular del curso.

18. Diseñando una Rúbrica para evaluar …. • Paso 2: desglosar esa meta en objetivos específicos que • Deben ser relevantes para la meta general • Deben ser observables y medibles • Deben medir algo que se provee en el curso • Paso 3: definir los niveles de evaluación: • Generalmente resulta más fácil empezar en los extremos cuando se determina un criterio en una rúbrica y después definir los niveles intermedios.

19. Diseñando la Rúbrica Pregunta: ¿Cuáles son las características que hacen un producto: • Inaceptable, • Equivocado, • Un producto que resulta cuando el estudiante tiene una capacidad muy débil en relación al criterio sobre el cual es evaluado • No tiene idea de lo que esta haciendo • Ejemplar, • Que excede las expectativas, • Que resulta cuando el estudiante es un experto en el criterio que esta siendo evaluado.

20. Algunas palabras que pueden ser de utilidad: (in) completo, (in) exacto, razonable, detallado, creativo, original, sutil, sofisticado, sintetizado, integrado, analizado, errores conceptuales menores y/o mayores, flexibilidad, adaptabilidad, complejidad de pensamiento, claridad, bien documentado, bien fundamentado, profesional, (des) organizado, profundo, superficial, (ir) relevante.

21. Criterios de la rúbrica • Suponga que esta diseñando una rúbrica holística para evaluar en el estudiante su nivel de dominio de gramática básica y puntuación. • ¿cuál de los siguientes ejemplos prefiere? • ¿por qué?

22. 1 2 3 4

23. 1 No funciona, las categorías son mutuamente excluyentes No es muy útil, a veces 1 error es mas grave que 3 otros No sirve para evaluar la calidad de lo aprendido, sólo para calificar con respecto a los demás 2 3 Evalúa diferencias cualitativas Es la mejor!! 4

24. Dos formas comunes de evaluar con rúbricas Dependiendo de las personas involucradas hay 2 formas de las cuales comúnmente se evalúan las competencias usando rúbricas: • Evaluar al mismo tiempo que se califica • Recolectar las evidencias y evaluar posteriormente en una sesión de grupo

25. Las Rúbricas pueden: • Agilizar el proceso de calificar • Clarificar las expectativas a los estudiantes – especialmente para nuevos estudiantes, explicándoles la rúbrica. • Reducir las quejas del estudiante por su calificación. • Mejorar la confiabilidad y la validez de evaluaciones y calificaciones. • Ayudar a la facultad a crear mejores trabajos que aseguren que los estudiantes expongan lo que se quiere que ellos demuestren.

26. Sugerencias para el uso de Rúbricas en Cursos • Entregar / dar a conocer la rúbrica junto con el trabajo, de tal forma que los estudiantes saben cuáles son las expectativas que se tiene de ellos y como serán calificados. • Desarrollar una rúbrica en conjunto con los estudiantes para un trabajo o un proyecto de grupo. Los estudiantes podrán entonces monitorearse ellos mismos y a sus pares, usando criterios acordados. Muchos profesores encuentran que los estudiantes crean estándares más altos ellos mismos que los que la facultad les pensaría imponer.

27. Sugerencias… • Usar una rúbrica para calificar el trabajo del estudiante y regresar la rúbrica con la calificación obtenida. • Dejar que los estudiantes que apliquen la rúbrica a algunos trabajos muestra, antes de crear su propia. La capacidad para evaluar, editar y mejorar los borradores es una habilidad importante. – así aprenden a discriminar entre trabajos buenos y débiles.

28. Sugerencias… • Permitir que los estudiantes intercambien borradores y den retroalimentación a sus compañeros usando la rúbrica, después darles un tiempo antes de entregar los trabajos finales. También se les podría pedir que entreguen la rúbrica de puntaje con su documento final. • Hacer que los estudiantes autoevalúen sus productos empleando la rúbrica de calificación y entreguen su autoevaluación con el producto; de esta manera la facultad y los estudiantes pueden comparar sus evaluaciones generadas.

29. Herramientas para crear y aplicar rúbricas

30. Además de las ventajas que mencionamos… • Las rúbricas se pueden automatizar. • Todos los trabajos, exámenes, autoevaluaciones que se pueden someter en un formato electrónico … se pueden evaluar con esas rúbricas. • Los resultados de la evaluación quedan automáticamente guardados, promediados, publicados…

31. Ejemplo: CourseSites • La captura de la rúbrica es directa y sencilla • Cuando se define una tarea, el profesor le asocia la rúbrica que desea usar – se pueden reutilizar! • Al calificar, el profesor ve el documento y la rúbrica y en ese momento puede evaluar. • O puede usar su computadora para calificar mientras esta presenciando el examen profesional, presentación oral, audición, ejercicio, etc.

32. Acceso y pasos a seguir http://es.coursesites.com • Debes registrarte como instructor para poder crear un curso • Crea un curso • Crea una rúbrica • Crea una actividad y asocia a ella la rúbrica creada. • Determina si el estudiante puede ver o no la rúbrica

34. Criterios a evaluar • Del lado izquierdo se presentan los criterios a evaluar. • Uno por renglón.

35. Niveles • Los niveles están indicados como encabezado de cada columna. • Podemos modificar el texto de cada nivel de acuerdo a nuestra rúbrica.

36. Descripción y Puntaje o Porcentaje por cada nivel

37. Ahora ustedes • Por equipos de 4: entrar a http://es.coursesites.com (1 por equipo) • Nombre y contraseña: CALICA seguido de 2 dígitos 01,02,03…por cada equipo • Entrar en el curso de prueba • Entrar en “Contenido” (del lado izquierdo) • Seleccionar:

38. Crear una actividad

39. Asignar puntaje y crear rúbrica

40. Nombre y descripción de la rúbrica

41. Definir cada campo de la rúbrica

50. Sobre el proceso de evaluación