Metodología de Medición y Evaluación de la Usabilidad de Sitios Web educativos

1. Universidad de Oviedo – Departamento de Informática Tesis Doctoral Metodología de Medición y Evaluación de la Usabilidad de Sitios Web educativos María Elena Alva Obeso Director: Juan Manuel Cueva Lovelle Directora: Ana Belén Martínez Prieto

2. Tesis Doctoral Contenido • Introducción • Estudio de la Evaluación de la Usabilidad • Estudio de Metodologías Relacionadas • Objetivos • Metodología Propuesta • Prototipo • Resultados • Conclusiones • Futuras Líneas de Investigación 

3. Introducción Problema • Proliferación de sitios web • Utilidad vs usabilidad • Evaluación de la usabilidad • Enfoque centrado en el dominio comercial • Establecer el quién, el qué y el có • mo evaluar sitios educativos • Audiencia • Requisitos de evaluación • Métodos y técnicas actuales

4. Introducción Propuesta Un nuevo enfoque de evaluación caracterizado por: • Dirigido a un dominio de aplicación • Uso de usuarios y expertos • Clasificación del usuario • Fases de aplicabilidad • Establecimiento de requisitos • Desarrollo de herramientas de soporte

5. Tesis Doctoral Contenido • Introducción • Estudio de la Evaluación de la Usabilidad • Estudio de Metodologías Relacionadas • Objetivos • Metodología Propuesta • Prototipo • Resultados • Conclusiones • Futuras Líneas de Investigación 

6. ISO 9241 ISO 9126 Nielsen Introducción Usabilidad

7. Métodos considerados por categoría y autor(es) Estudio de la evaluación de la usabilidad Métodos de evaluación

8. Clasificación resultante de los métodos de evaluación de usabilidad analizados Estudio de la evaluación de la usabilidad Métodos de evaluación (II)

9. Estudio de la evaluación de la usabilidad Métodos de evaluación (III)

10. Estudio de la evaluación de la usabilidad Técnicas de evaluación Los métodos de evaluación de usabilidad se apoyan en el uso de técnicas que ayudan en la recolección de información y que facilitan la detección de problemas.

11. Estudio de la evaluación de la usabilidad Técnicas de evaluación (II) • Son baratos • Fáciles de aplicar a una muestra grande de usuarios • Se pueden repetir las veces que sea necesario • Proporcionan rápidamente datos cuantitativos y cualitativos • Encuentra preferencias subjetivas del usuario • Evalúa de manera formal y estandarizada juicios, opiniones y sentimientos subjetivos, sobre la usabilidad del prototipo, sistema, etc. • Permite verificar la aceptación del sistema con el ambiente normal de operación del usuario • Pueden también ser usados para medir respuestas subjetivas en un contexto experimental Características comunes de Listas y Cuestionarios

12. Tesis Doctoral Contenido • Introducción • Estudio de la Evaluación de la Usabilidad • Estudio de Metodologías Relacionadas • Objetivos • Metodología Propuesta • Prototipo • Resultados • Conclusiones • Futuras Líneas de Investigación 

13. Estudio de las metodologías relacionadas Metodologías existentes • Por los estudios realizados parece claro suponer que los métodos, técnicas y herramientas desarrolladas para la evaluación de la usabilidad deben ser utilizados de una manera coordinada y sistemática, a fin de que permitan obtener los resultados deseados. Es decir, deberían estar enmarcados en un modelo que organice su uso en una secuencia apropiada a los fines establecidos. • Se han revisado algunas metodologías de evaluación de usabilidad, con el fin de detectar características comunes y estrategias que sean de utilidad en la evaluación de un sitio Web educativo.

14. Estudio de las metodologías relacionadas Inconvenientes derivados • Enfocadas a la evaluación de aplicaciones comerciales • Emplean métodos empíricos, que implementan escenarios artificiales • Costosas y difíciles de implementar • Evalúan el desempeño del producto y el desempeño y experiencia del usuario • Carecen de un conjunto de requisitos adecuados a la audiencia y al dominio

15. Estudio de las metodologías relacionadas Solución • Integración de métodos, técnicas y herramientas en una proceso coherente metódico y sistemático que permita evaluar la usabilidad de sitios educativos de una manera rentable • Para ello, es necesario establecer las diferentes clasificaciones de dominio, etapas de desarrollo y usuarios a fin de enfocar de una mejor manera el proceso de evaluación y lograr resultados más objetivos

16. Tesis Doctoral Contenido • Introducción • Estudio de la Evaluación de la Usabilidad • Estudio de Metodologías Relacionadas • Objetivos • Metodología Propuesta • Prototipo • Resultados • Conclusiones • Futuras Líneas de Investigación 

17. Objetivos Fundamentales • Descripción de una metodologíapara la evaluación de la usabilidad de sitios web educativos • Empleo de un modelo de puntuación para medir el nivel de usabilidad en la metodología propuesta • Diseño de un conjunto de herramientas de soporteal proceso de evaluación y al procesamiento de los datos obtenidos

18. Objetivos Objetivos de la metodología • Evaluación múltiple. Combina dos evaluaciones: de expertos y de usuarios. • Combinación de métodos. Combina los métodos de inspección y de indagación con el fin de descubrir problemas que puedan ser pasados por alto por uno u otro. • Configuración de los métodos de inspección. Posibilidad de seleccionar aquellos métodos con los que este más familiarizado el experto. • Consideraciones de audiencia. Estudio de la audiencia, teniendo en cuenta características específicas como edad, nivel de experiencia, etc.

19. Objetivos Objetivos de la metodología(II) • Extensión de la evaluación a las fases de análisis y diseño. Se pretende que la evaluación abarque las diferentes etapas de desarrollo del producto. • Configuración de los parámetros de medición. Establecer los parámetros de evaluación, en una estructura jerárquica, adecuada al tipo de sitio y usuario. • Aplicación de un modelo de puntuación. Sobre los parámetros definidos en la estructura jerárquica anterior.

20. Objetivos Objetivos de la metodología(II)

21. Tesis Doctoral Contenido • Introducción • Estudio de la Evaluación de la Usabilidad • Estudio de Metodologías Relacionadas • Objetivos • Metodología Propuesta • Prototipo • Resultados • Conclusiones • Futuras Líneas de Investigación 

22. Metodología propuesta Estructura de la Metodología La metodología ME-USitE (Metodología de Evaluación de la Usabilidad de Sitios Educativos)comprende las etapas:

23. Metodología propuesta Análisis • La etapa de análisis comprende las siguientes fases: • Definición del dominio • Análisis de la audiencia • Etapas del ciclo de desarrollo • Análisis de las metas de evaluación de la usabilidad

24. ? Metodología propuesta Ciclo de vida - Diseño

25. Metodología propuesta Diseño:Evaluación de expertos • Dos objetivos principales: • Que un grupo de especialistas (personas con cierto conocimiento en aplicaciones Web, y/o evaluación de usabilidad) comprueben, de acuerdo a su experiencia y juicio, si el sitio en evaluación cumple o no las reglas establecidas en la evaluación. • Determinar el impacto que producen en el nivel de usabilidad las reglas incumplidas

26. Metodología propuesta Diseño: Evaluación de expertos (II) • Realizado aplicando los métodos de inspección • Se caracterizan por ser de los más efectivos en la obtención de resultados y de los más simples de aplicar. • Permiten la combinación entre ellos, se emplearán: • Heurísticas [NIE90], [NIE93], • Consistencia [FLO00], • Estándares [ISO93b], [ISO01] y • Guías de comprobación [NIE94b] y [MAC94].

27. Metodología propuesta Diseño: Evaluación de expertos (III) • Valoración del impacto. Consiste en medir el impacto que produce una regla no cumplida en el nivel de usabilidad del sitio. • Basado en el modelo de Lisney y Schang [LIS04] • Considera tres elementos: • Severidad. Indica si el problema es una molestia al usuario o si le impide completar la tarea. • Importancia. Determinada por eltipo de sitio educativo(formativo, informativo). • Extensión. Relacionado con ladifusión del problema en el sitio. • Impacto = ½ (Severidad + Importancia + Persistencia).

28. Metodología propuesta Diseño: Evaluación de expertos (IV) Efecto del evaluador.Establece en que medida las parejas de evaluadores están de acuerdo sobre los problemas que tiene la aplicación en evaluación. Es decir, tiene en cuenta el número de problemas que dos evaluadores tienen en común (Pi  Pj), dividido por el número de problemas que ellos detectan colectivamente (Pi  Pj), y promediado por todos los posibles pares de evaluadores que han participado en el proceso de evaluación (½n(n-1)) Tasa =

29. ? Metodología propuesta Ciclo de vida - Diseño

30. Metodología propuesta Diseño:Evaluación de usuario • Dos objetivos fundamentales: • Analizar la percepción del usuario y determinar en que medida el sitio les proporcionan la usabilidad necesaria para concluir con éxito su objetivo. • Determinar problemas de usabilidad tales como: aprendizaje, contenido, operabilidad, comunicación, método, satisfacción y atractividad, etc.

31. Metodología propuesta Diseño:Evaluación de usuarios(II) • Modelo de Evaluación del usuario 1.Número de participantes 2. Balance de participantes 3. Reclutamiento de participantes 4. Categorización el usuario 5. Selección de los parámetros de medición de evaluación 6. Modelo de medición

32. Metodología propuesta Diseño:Evaluación de usuarios(II) • 4. Categorización del Usuario: Modelo de Perfil del usuario de sitios Web educativos(PU). • Basado en el modelo de Borges [BOR02]. • Considera cuatro elementos de categorización (ECi): nivel educativo, uso del ordenador, tiempo dedicado al uso del ordenador, uso de Internet. • Emplea un cuestionario para la obtención de los datos referentes a los elementos de categorización • Cada elemento en el cuestionario ésta asociado un rango de valores de respuesta que determinan el perfil del usuario (PU).

33. Metodología propuesta Diseño: Evaluación de usuarios (III) El perfil de usuario puede ser definido mediante la siguiente ecuación: Dondei: y (i) es obtenida por la ecuación: Valor de las opciones de respuesta (Vop) Primer elemento:Nivel Educativo del usuario Para el primer elemento (EC1), Vop1 toma directamente el valor de la opción seleccionada 1Vop1 5

34. Metodología propuesta Diseño: Evaluación de usuarios(IV) Segundo elemento:Tiempo dedicado al uso del ordenador Para el segundo elemento (EC2), el valor de Vop2 es calculado mediante la ecuación: Tercer elemento: Actividad de uso con el ordenador Para el tercer elemento de categorización de perfil (EC2), se realiza una suma de los pesos (Vop2) de las opciones seleccionadas (ya que permite respuestas múltiples):

35. Metodología propuesta Diseño: Evaluación de usuarios(V) Cuarto elemento:Uso de Internet Para elcategorización de perfil (EC4) se ha considerado la evaluación de los sitios mas frecuentemente recorridos por el usuario dentro de un conjunto de sitios preestablecidos y considerando además la frecuencia de acceso.

36. Metodología propuesta Diseño:Evaluación de usuarios(II) • Modelo de Evaluación del usuario 1.Número de participantes 2. Balance de participantes 3. Reclutamiento de participantes 4. Categorización el usuario 5. Selección de los parámetros de medición de evaluación 6. Modelo de medición

37. Metodología propuesta Diseño:Evaluación de usuarios(VI) 5. Selección de los parámetros de medición de evaluación • Definida en un árbol de requisitos. • Basada en un modelo jerárquico. • Propone un modelo de tres niveles de parámetros (criterios, métricas y atributos) • Basados en los estándares ISO 9241 [ISO93b], [ISO93a], ISO 9126 [ISO01], [ISO91] y los indicadores de evaluación de recursos educativos considerados por González [GON03] y Boklaschuk [BOK01]:

38. Metodología propuesta Diseño:Evaluación de usuarios(II) • Modelo de Evaluación del usuario 1.Número de participantes 2. Balance de participantes 3. Reclutamiento de participantes 4. Categorización el usuario 5. Selección de los parámetros de medición de evaluación 6. Modelo de medición 6.1 Clasificación de los parámetros 6.2 Asignación de pesos a los parámetros del árbol de requisitos 6.3 Puntuación elemental de los atributos (PE). 6.4 Cálculo de la Puntuación de agregación

39. Metodología propuesta Diseño:Evaluación de usuarios(VII) • 6. Modelo de medición • Basado en el modelo de puntuación de preferencia lógica LSP (Logic Scoring of Preference) [ERD80], [DUJ80], sobre la teoría de redes neuronales • Emplea las valoraciones de los usuarios como capa de entrada para obtener las puntuaciones elementales • Las puntuaciones obtenidas para los niveles superiores a través de puntuación agregada determinan las capas intermedias • El resultado final representa la capa de salida.

40. Metodología propuesta Diseño:Evaluación de usuarios(II) • Modelo de Evaluación del usuario 1.Número de participantes 2. Balance de participantes 3. Reclutamiento de participantes 4. Categorización el usuario 5. Selección de los parámetros de medición de evaluación 6. Modelo de medición 6.1 Clasificación de los parámetros 6.2 Asignación de pesos a los parámetros del árbol de requisitos 6.3 Puntuación elemental de los atributos (PE). 6.4 Cálculo de la Puntuación de agregación

41. Metodología propuesta Diseño:Evaluación de usuarios(VIII) 6. Modelo de medición. Pasos: 6.1Clasificación de los parámetros del árbol de requisitos: esenciales, deseables u opcionales. Uso de la técnica Delphi [LIN75]. 6.2Asignación de pesos a los parámetros del árbol de requisitos. Establece una preferencia relativa (peso) a cada parámetro que conforma el árbol de requisitos, aplicando la técnica SMART [EDW77].

42. Metodología propuesta Diseño:Evaluación de usuarios(II) • Modelo de Evaluación del usuario 1.Número de participantes 2. Balance de participantes 3. Reclutamiento de participantes 4. Categorización el usuario 5. Selección de los parámetros de medición de evaluación 6. Modelo de medición 6.1 Clasificación de los parámetros 6.2 Asignación de pesos a los parámetros del árbol de requisitos 6.3 Puntuación elemental de los atributos (PE). 6.4 Cálculo de la Puntuación de agregación

43. Siendo n = número de atributos del subárbol Metodología propuesta Diseño:Evaluación de usuarios (IX) • 6.3Puntuación elemental de los atributos (PE).Para obtener dicha puntuación será necesario: • Asignación de un valor para el atributo. El usuario asignará un valor numérico (entre 1 y 5) a cada atributo. • Obtención de la puntuación elemental. ( ). • El valor asignado por el usuario a un atributo debe ser normalizado por medio de una función de transformación, mediante la cual dicho valor se convierta en una PuntuaciónElemental sobre una escala de 0 a 100.

44. Metodología propuesta Diseño:Evaluación de usuarios(II) • Modelo de Evaluación del usuario 1.Número de participantes 2. Balance de participantes 3. Reclutamiento de participantes 4. Categorización el usuario 5. Selección de los parámetros de medición de evaluación 6. Modelo de medición 6.1 Clasificación de los parámetros 6.2 Asignación de pesos a los parámetros del árbol de requisitos 6.3 Puntuación elemental de los atributos (PE). 6.4 Cálculo de la Puntuación de agregación

45. Donde Metodología propuesta Diseño:Evaluación de usuarios (X) • 6.4 Cálculo de la Puntuación de agregación. • Se basa en las puntuaciones elementales • Obtiene las valoraciones para los niveles superiores del árbol de requisitos a partir de las puntuaciones elementales • Definición de la estructura de Agregación. • Tomacomo entrada las puntuaciones elementales (PE) y los pesos (W) asignados a cada atributo • Genera como salida las puntuaciones agregadas, PA

46. Metodología propuesta Diseño: Evaluación de usuarios (XI) • Selección de la función de agregación. • Se basa en una función de agregación general llamada “promedio de potencia de peso”[DUJ82], [SUS87]. • El valor de r, genera un espectro de funciones de agregación [DUJ74] llamadas funciones de Conjunción-Disyunción Generalizada (GCD)

47. Metodología propuesta Diseño: Evaluación de usuarios (XII) • Definición de los operadores lógicos de la función de agregación. • En caso de agregación simple se empleará: • Parámetros opcionales el operador aritmético (A) • Parámetros deseables el operador cuasi-conjunción débil (C-) • Parámetros esenciales el operador de cuasi-conjunción fuerte (C+). • En el caso de agregación compuesta, se empleará: • Para una combinación de parámetros esenciales-deseables y/o esenciales-opcionales el operador cuasi-conjunción media (CA) • Para la combinación deseable-opcional: operador aritmético (A).

48. ? Metodología propuesta Ciclo de vida - Resultados

49. Metodología propuesta Recolección y Procesamiento de los Resultados de la Evaluación • Técnicas para la obtención de datos • 1 Obtener los datos del usuario. Uso de un cuestionario que considera dos partes. • Preguntas generales (edad, sexo, mano del uso de ratón) para clasificar los resultados obtenidos. • Preguntas específicas para obtener datos que permitan ubicarle en un perfil específico (Nivel de estudios, Uso de Internet, Frecuencia de uso y tipos de sitios más visitado y frecuencia). • 2. Obtener datos de la evaluación del usuario. Para ello se han considerado parámetros de primer (criterios), segundo (métricas) y tercer (atributos) nivel. Sin embargo, serán los atributos los únicos parámetros que el usuario evaluará, incluidos en forma de pregunta en un cuestionario.

50. Metodología propuesta Recolección y Procesamiento de los Resultados de la Evaluación • 3. Obtener datos de la evaluación del experto. Se ha elaborado una lista de verificación para cada una de las inspecciones, que permitan verificar su cumplimiento. • En el caso de una inspección heurística o de estándares se utiliza una escala de valor único (“SI” o “NO”). • Para el caso de una inspección de consistencia o de guías de comprobación se utiliza una escala discreta de 1 a 5 que indica el grado de cumplimiento de la regla evaluada.