Avaliação de Interfaces: Heurística e Teste de Usabilidade

1. Avaliação de Interfaces:Heurística e Teste de Usabilidade Unisinos – Centro 6 Projeto de Interfaces – 2003/02 Profª: Renata Vieira Comentado por: Cássia T. dos Santos

2. Roteiro • Parte I • Considerações Iniciais • Classificação dos Métodos de Avaliação • Parte II • Avaliação Heurística • Teste de Usabilidade • Comparativo • Referências Bibliográficas

3. Avaliação • Coletar informações sobre um projeto ou produto em relação a funcionalidade e a interação; • Estimativa do sucesso ou insucesso das hipóteses do projetista sobre a solução que está propondo; • Envolve desde “o que você acha desta idéia” até avaliações rigorosas (experimentos em laboratório e questionários em larga escala).

4. Avaliação • Obtenção de interfaces com melhor usabilidade; • Garante melhores decisões de projeto; • Evita custos de fazer e distribuir correções; • Vantagens indiscutíveis: modificação do projeto nas fases iniciais são melhores que nas fases finais!

5. Por quê avaliar? • Conhecer o que os usuários querem e problemas que experimentam; • Verificar se idéias estão de acordo com as necessidades e os desejos dos usuários; • Responder dúvidas que surgem durante o projeto e desenvolvimento.

6. Por quê avaliar? • Verificar o sistema na situação real de uso; • Comparar alternativas de design; • Marketing: • comparação entre produtos (funcionalidade, aceitação) • Adequação a normas: • produtos estão de acordo com padrões específicos (exemplo ISO)?

7. O que avaliar? • Funcionalidade do sistema • qualidade da adequação aos problemas do usuário; • design permite que usuário efetue as tarefas pretendidas de modo fácil e eficiente; • Usabilidade da interface • qualidade da interação usuário/sistema; • fácil aprender usar o sistema, uso agradável e eficiente.

8. O que avaliar? • Comunicabilidade • qualidade da comunicação projetista/usuário; • interface expressa o modelo de interação previsto pelos projetistas; • Aprendizado do usuário • conhecimento do usuário evolui através da interação.

9. Quando? • Deve ocorrer durante o ciclo de vida do sistema: • resultados utilizados para melhorias gradativas da interface. • Nas primeiras fases: • verificar compreensão dos projetistas sobre as necessidades dos usuários (estudo de um sistema existente); • testar idéias (possibilidades de layout). • Nas fases finais: • identificar dificuldades do usuário; • melhorar produto.

10. Tipos de Avaliação • Formativa • feita durante o processo de projetoedesenvolvimento; • permite identificar e consertar um problema de interação antes que a aplicação seja implementada ou terminada; • uso de modelos, protótipos, storyboards. • Somativa • avaliar o produto já terminado; • testar se produto está de acordo com o estilo padrão da empresa.

11. Considerações • Características dos usuários • experiência, idade, gênero; • Tipo de atividade a ser realizada • atividades específicas controladas ou livres, de acordo com a vontade do usuário;

12. Considerações • Ambiente do estudo • laboratório, ambiente natural de trabalho (estudo de campo); • Natureza do artefato • projeto gráfico não implementado, protótipo em desenvolvimento, produto terminado.

13. Métodos e Técnicas de Avaliação • Envolvem: • observação e monitoração das interações do usuário; • coleta de opiniões dos usuários; • experimentos; • interpretação de interações naturais; • predição de usabilidade de um produto.

14. Métodos e Técnicas de Avaliação • Classificação (Rocha e Baranaukas, 2000) • Inspeção de usabilidade • Teste de usabilidade • Experimento controlado • Método interpretativo

15. Métodos e Técnicas de Avaliação • Classificação (Rocha e Baranaukas, 2000) • Inspeção de usabilidade • Teste de usabilidade • Experimento controlado • Método interpretativo

16. Inspeção de Usabilidade • Conjunto de métodos baseados em se ter avaliadores inspecionando ou examinando aspectos de usabilidade de uma interface; • Avaliadores: • especialistas em usabilidade ou em determinado padrão de interface, consultores de software, usuários finais.

17. Inspeção de Usabilidade • Visa encontrar problemas de usabilidade no projeto de uma interface e fazer recomendações para eliminação destes problemas; • Utiliza a habilidade e a experiência de avaliadores; • Pode ser aplicada em fases iniciais e finais do projeto e desenvolvimento.

18. Inspeção de Usabilidade • Métodos: • Avaliação Heurística: uso de lista de heurísticas; • Revisão de Guidelines: verificação daconformidade com guidelines; • Inspeção de Consistência: consistência dentro de uma família de interfaces (terminologia, cores, layout, formatos entrada/saída); • Percurso Cognitivo (predição de uso): análise do “caminho” percorrido na execução de uma tarefa (modelagem psicológica); especialistas revisam o sistema para predizer problemas que usuários podem encontrar.

19. Métodos e Técnicas de Avaliação • Classificação (Rocha e Baranaukas, 2000) • Inspeção de usabilidade • Teste de usabilidade • Experimento controlado • Método interpretativo

20. Teste de Usabilidade • Método centrado no usuário; • Inclui • Métodos experimentais ou empíricos; • Métodos observacionais; • Técnicas de questionamento. • Necessária existência de uma implementação real(simulação, protótipo básico, cenário, implementação completa).

21. Métodos e Técnicas de Avaliação • Classificação (Rocha e Baranaukas, 2000) • Inspeção de usabilidade • Teste de usabilidade • Experimento controlado • Método interpretativo

22. Experimento Controlado • Envolve a execução de um bem projetado experimento de laboratório; • Tem-se uma hipótese a ser testada e variáveis de interesse devem ser controladas; • Uso de métodos estatísticos: necessário conhecimento estatístico para validação dos resultados.

23. Experimento Controlado • Controle de variáveis em interações complexas envolvendo humanos pode ser difícil e de validade questionável; • São feitos em laboratórios especialmente construídos; • Coleta de dados através de observação e monitoramento; • Avaliação rigorosa e dados coletados analisados quantitativamente, de modo a produzir métricas que guiem o projeto.

24. Experimento Controlado • No planejamento, observar: • propósito do experimento; • o que se mantém constante, o que é alterado; • hipótese (estabelecida de forma a ser testada); • quais testes estatísticos e por que?

25. Experimento Controlado • Exemplo: • avaliação da eficiência relativa dos usuários utilizando teclas de função ou menus num sistema de controle de processos estabelecida em termos dos elementos comparados, constantes (experiência dos usuários e tarefa de controle) e medidas de performance (velocidade na execução dos comandos ou percentual de erros).

26. Experimento Controlado • Exemplo • Hipótese possível • Teclas de função são mais eficientes (produzem execução mais rápida dos comandos); • Grupos usarão duas interfaces; • Significância estatística entre as diferenças serão determinadas.

27. Métodos e Técnicas de Avaliação • Classificação (Rocha e Baranauskas, 2000) • Inspeção de usabilidade • Teste de usabilidade • Experimento controlado • Método interpretativo

28. Método Interpretativo • Objetiva proporcionar ao projetista um melhor entendimento • das condições naturais de trabalho do usuário; • de como o uso do sistema se integra as outras atividades do usuário.

29. Método Interpretativo • Coleção de dados é informal • deve causar pouca interferência ao trabalho do usuário; • participação do usuário na coleta, análise e interpretação dos dados; • formas de registro como vídeos e áudio podem ser adotadas. • Incluem avaliação participativa e etnográfica (pesquisadores inseridos no contexto de trabalho).

30. Qual método utilizar? • Fatores determinantes: • o que se deseja avaliar; • etapa do desenvolvimento; • disponibilidade de especialistas; • ambiente e recursos necessários; • tempo disponíveis para avaliação. • Técnica ideal: misturar e adaptar métodos.

31. Métodos e Técnicas de Avaliação • Técnicas representativas: • Avaliação Heurística • Teste de Usabilidade

32. Avaliação Heurística • Engenharia Econômica de Usabilidade proposta por Nielsen (1989,1993); • Envolve pequeno conjunto de avaliadores, examinando a interface e julgando suas características em face de reconhecidos princípios de usabilidade (heurísticas).

33. Avaliação Heurística • Heurística: regra geral que descreve uma propriedade comum em interfaces usáveis; • Avaliadores, por experiência, estudam e observam a interface; • Não deve ser feita por um único avaliador (3-5).

34. Avaliação Heurística • Metodologia: • feita, em primeiro momento, individualmente; • avaliadores percorrem a interface e relatam problemas encontrados, junto as heurísticas violadas; • posteriormente, as listas de problemas dos avaliadores são consolidadas; • discussão final: equipe de desenvolvimento e sugestões de re-design.

35. Avaliação Heurística • Avaliadores não estarão usando o sistema de fato: interfaces não implementadas; • Resultado: lista de problemas de usabilidade da interface com referências aos princípios de usabilidade violados; • Uso de heurísticas específicas: derivadas da análise de produtos similares e de resultados de uso (Ex.: formulários).

36. Algumas Heurísticas (Nielsen, 1990/93) • Diálogo simples e natural; • Falar na linguagem do usuário; • Minimizar a carga de memória do usuário; • Ser consistente; • Prover feedback; • Saídas claras marcadas; • Prover shortcuts; • Mensagens de erro construtivas e precisas; • Prevenir erros; • Help e documentação.

37. Avaliação Heurística (Rocha e Baranauskas, 2000, pág. 177)

38. Avaliação Heurística • Diagnóstico de um problema associado as heurísticas: possibilidades concretas de re-design; • Pode ser usada para avaliar a gravidade de cada problema: atribuição de graus de severidade; • Método básico da engenharia da usabilidade, relativamente fácil de ser usado e aprendido.

39. Teste de Usabilidade • Observação da interação de usuários no mundo real ou sob condições controladas; • Avaliadores coletam dados e verificam se a interface suporta as tarefas do usuário; • Importância do teste: impossibilidade do projetista em prever o comportamento dos usuários diante da interface; • Ferramentas de registro: áudio, vídeo, software para registro da interação, outras; • Importante coleta da opinião do usuário.

40. Teste de Usabilidade • Resultados práticos: testes têm acelerado desenvolvimento e produzido redução de custos; • Vantagens (Matias, 1995): • indicar reações dos usuários potenciais; • mostrar os problemas e falhas no sistema; • mostrar onde o sistema funciona bem; • fornecer idéias ao projeto através das sugestões dos usuários; • fornecer meios para comparar múltiplos usuários; • promover a participação do usuário.

41. Teste de Usabilidade • Observação dos usuários: • direta • usuários podem ser observados diretamente em seu local de trabalho; • observador toma nota sobre o comportamento do usuário, como seqüência de ações (escolher o que é importante ser anotado); • usuários podem alterar comportamento pelo fato de estarem sendo observados;

42. Teste de Usabilidade • Observação dos usuários: • direta • técnicas de anotação de dados podem ser utilizadas ou desenvolvidas, do tipo checklist; • para registro permanente, vídeo, áudio ou logging de interação é necessário.

43. Teste de Usabilidade • Observação dos usuários: • indireta • software logging: • coleta é automática e não interfere no trabalho do usuário; • ferramentas disponíveis para software logging; • tempo de digitação: grava seqüência e os intervalos de tempo.

44. Teste de Usabilidade • Observação dos usuários: • indireta • vídeo: • uso de diferentes câmeras; • usuários têm noção de que estão sendo filmados; • reduzir impacto da presença da câmera: coloca-la dias antes do início das filmagens; • análise é difícil e consome tempo; • podem ser usados para convencer gerentes e projetistas dos problemas no sistema.

45. Teste de Usabilidade • Coleta da opinião dos usuários: • além da performance é importante saber o que ele pensa sobre o uso que faz da tecnologia; • impressão dos usuários sobre o software; • performance pode ser boa, mas usuário não gostar do sistema; • detalhes para os projetistas podem ser desagradáveis ao usuário.

46. Teste de Usabilidade • Coleta da opinião dos usuários: • protocolo verbal: usuários “pensam em voz alta”; • usuários podem ver vídeos e comentar sobre suas ações; • dois usuários podem testar uma interface e comentar; • entrevistas e questionários podem ser utilizados.

47. Teste de Usabilidade • Entrevistas e questionários: • dados de entrevistas: qualitativos; • dados de questionários: quantitativos; • questionários podem ser aplicados a um grande número de pessoas, possibilitando a obtenção de resultados estatisticamente validados; • questionário deve ser planejado de forma a garantir que perguntas sejam relevantes às questões analisadas.

48. Teste de Usabilidade • Entrevistas e questionários: • entrevistas flexíveis podem ser moldadas se acordo com a reação dos entrevistados (uso de um plano básico); • entrevistado deve se sentir seguro e a vontade: podem ter vergonha de criticar o sistema; • entrevistador responsável por criar um clima agradável de conversação.

49. Teste de Usabilidade • Entrevistas e questionários: • questionários podem conter respostas fechadas ou abertas; • fechadas • checklists (sim, não, não sei); • escalas (muito útil ... Inútil; concordo plenamente ... discordo plenamente); • questionários devem ser breves; • estudos pilotos: antes de distribuir um questionário para 500 pessoas, distribuir um rascunho para 20.

50. Teste de Usabilidade • Testes realizados em laboratório; • Problemas: • limitações de tempo e de recursos; • dificuldade em conseguir usuários representativos; • contexto do trabalho dificilmente consegue ser reproduzido; • Saídas: • testes remotos (tele-conferência); • testes de campo: ambientes reais de uso (resposta do usuário, logs, comandos usados, freqüência de acesso ao help).