7. Ekspert-evaluering

1. 7. Ekspert-evaluering 11. Marts 2010 IT-Universitetet Ole Gregersen

2. Aftenens program • Metaphors of Thinking • Cognitive Walkthrough • Heuristisk Evaluering • Ekspert-evaluering

3. Fælles for metoderne • Ingen brugere inddraget • Problemer defineres af den der foretager metoden • Oftest baseret på opgaver (user tasks) • Meget udbredt alternativ til usability-test

4. Kært barn mange navne • Expert Review • Ekspertvurdering • Ekspert Evaluering • Heuristisk Evaluering • Heuristisk Inspection • Hvis det skal være ”rigtigt” • De heuristiske bruger (kun) heuristikker, fx Nielsens 10 • Nogle går op i om eksperten nu også kan kaldes ekspert…

5. Metaphors of Thinking 5 • Metaphor M1: Habit formation is like a landscape eroded by water. • Support of Existing Habits and, when necessary, Development of New Ones • Metaphor M2: Thinking as a stream of thought. • Users’ Thinking Should be Supported by Recognizability, Stability and Continuity • Metaphor M3: Awareness as a jumping octopus in a pile of rags. • Support Users’ Associations with Effective Means of Focusing within a Stable Context • Metaphor M4: Utterances as splashes over water. • Support Changing and Incomplete Utterances • Metaphor M5: Knowing as a building site in progress. • Users Should not Have to Rely on Complete or Accurate Knowledge—Design for Incompleteness Se www.kasperhornbaek.dk

6. The steps in the procedure are as follows: 6 1. Familiarize yourself with the application. 2. Find three tasks that users typically would do with the application. These tasks may be thought up, may be based on observations of users, or may be based on scenarios used in systems development. 3. Try to do the tasks with the application. Identify major problems found in this way. Use the key questions and the metaphors to find usability problems. 4. Do the tasks again. This time, take the perspective of each of the metaphors, one at a time, and work through the tasks. Use the key questions and the metaphors to find usability problems.

7. Eksempel på brug: 7 Kilde: UserInterfacesForAll2002_hornbaek.pdf

8. Metodens fordele og ulemper? Hvad synes I?

9. Cognitive Walkthrough (CW) Kognitiv gennemgang

10. CW, metode • Forberedelse: • Definér input til gennemgangen • Hvem er brugerne • Hvilke opgaver vil de gennemføre • Handlings-sekvens for at gennemføre opgaven (action sequence) • Beskrivelse af, eller selve brugergrænsefladen • Udførelse: • Gennemgå hver handling i opgaven:

11. Spørg, for hvert trin i handlings-sekvensen: Vil brugeren forsøge at opnå den rigtige effekt? Vil brugeren opdage at den korrekte handling er tilgængelig? Kan brugeren koble handlingen til den ønskede effekt? Hvis den korrekte handling er gennemført, vil brugeren opleve at fremskridt er sket i forhold til det brugeren vil opnå?

12. CW, udførelse, fortsat • Notér følgende: • Krav til brugeren viden (tænk gap) • Hvad skal brugeren vide inden handlingen udføres • Hvad lærer brugeren af at udføre handlingen • Idéer til forbedringer Kilde: http://ics.colorado.edu/techpubs/pdf/93-07.pdf

13. Type af dokumentation:

14. Failure story

15. Generelt om CW • Tager udgangspunkt i kognitiv belastning • Fokus på ”Ease of Learning” (by exploration) • Metodens fordele og ulemper?

16. HEURISTISK EVALUERING (HE) Typisk evaluering, uden brug af brugere: 16

17. Oprindelige heuristikker 17 Visibility of system status Match between system and the real world User control and freedom Consistency and standards Error prevention Recognition rather than recall Flexibility and efficiency of use Aesthetic and minimalist design Help users recognize, diagnose, and recover from errors Help and documentation

18. 18 Recognition rather than recall Minimize the user's memory load by making objects, actions, and options visible. The user should not have to remember information from one part of the dialogue to another. Instructions for use of the system should be visible or easily retrievable whenever appropriate. Kilde: Useit.com/papers/heuristic/heuristic_list.html og http://designingwebinterfaces.com/6-tips-for-a-great-flex-ux-part-5

19. Heuristikker forklaret? 19 Se vores blå bog side 68-77 Se også http://designingwebinterfaces.com/6-tips-for-a-great-flex-ux-part-5

20. Pointer omkring HE • Find problemer, forhold dem til heuristikker • http://www.useit.com/papers/heuristic/heuristic_evaluation.html • "discount usability engineering"

21. Problemstillinger • Falske positiver – langt det største problem! • Forståelsen af heuristikkerne – har vi samme forståelse? • Brugen af heuristikkerne – er den stringent? • Subjektiv oplevelse af problemer • Versus de virkelige • Mine versus dine • Falske alvorsgrader • Omstændigheder omkring udførelse: • Hvilke heuristikker • Antal deltagere • Hjælpemidler og variationer (rammer) • Se CUE projektet på dialogdesign.dk 21

22. Heuristikker – variation 1 22 Visibility, distinguishability, and timeliness Match between system and the real world User control and freedom Consistency and standards Error prevention and recovery Recognition rather than recall Flexibility and efficiency of use Aesthetic and minimalistist design Support user tasks and avoind dificult concepts Support modifications and progress evaluation Fra kompendiet

23. Heuristikker – variation 2 Consistency: Users should know that similar actions lead to similar results. Visibility: Users should be informed about what is going on in the system. Match: Users should have a mental model that matches the state of the website. Minimalist: Users should not be exposed to unnecessary information. Memory: Users should not be required to memorize a lot of information to use the website. Feedback: Users should be provided prompt and informative feedback. (Flexibility: Users should have the ability to customize or create shortcuts.) Message: Users should receive an informative error message. Errors: Users should be insulated from error occurrence by the design of the website Closure: Users should be informed of task completions. Undo: Users should have the ability to recover from errors. Language: Users should be presented information in an understandable form. Control: Users should not have the impression that the website is in control. Document: Users should be provided help by the website when necessary. 23 - Schneidermann-Nielsen

24. Kategorier: UAF classification 24 http://research.cs.vt.edu/usability/projects/uaf%20and%20tools/ Information content Navigation Graphics and UI Objects System features, functionality, defaults, interaction with I/O devices Formatting and Layout Wording and language Feedback, help & error messages Accessibility

25. Let’s try it… Sidste semesters eksamensopgave: WWW.ADHD.DK 25

26. Baggrundsinformation 26 Målgrupper Primær: Voksne medlemmer af ADHD-foreningen (en gruppe bestående af frivillige, pårørende, personer med ADHD og fagfolk). Sekundær: Ikke-medlemmer (presse + ovenstående, men uden medlemskab). Antal besøgende Foreningens hjemmeside har ca. 10.000 besøgende om måneden. Samtalefora har 487 registrerede brugere. Særlige hensyn til websitets brugere med ADHD Såvidt muligt bruge korte tekster og lede videre via links og brugen af undersider (Overblik) Meget få/ingen elementer med bevægelse (Ro) Undgå skarpe farvekontraster (brugere med ADHD mister hurtigt fokus og koncentration) Kategoriseringen: Barn, ung, voksen – (Skabe struktur og overblik). ADHD-foreningen fokuserer på følgende features Samtalefora (hvor brugerne både rådgiver og støtter hinanden). Lokalafdelingernes sider, som er medlemmernes ”vindue” til tiltagene i deres del af landet (drives af frivillige kræfter og er af en ret blandet kvalitet mht. vedligehold og opdatering). Nyhedsmodulet med specifikke, målrettede nyheder om ADHD og ADHD-foreningens arbejde Arrangements-afdelingen: Kursus- og uddannelsesaktivitet (særligt for forældre, som mangler støtte og redskaber til familielivet).

27. Opgave 1: Usability-evaluering (30%) 27 ADHD-foreningen ønsker en usability-evaluering deres website. Som udgangspunkt vil man gerne have en generel vurdering af den samlede brugbarhed. Du bestemmer selv, hvordan du vil udføre evalueringen. Webadressen er www.adhd.dk For hvert usabilityproblem, som identificeres, skal der angives: Hvad problemet er. Hvilken del problemet kan henføres til, fx billede, tekst, element eller lignende. Hvilket niveau eller alvorsgrad du mener problemet har, på en skala fra 1-4, hvor 4 antyder det største problem. På adhd.dk ønsker foreningen særligt fokus på nyheder (som blandt andet ses på forsiden). Derfor skal du som minimum have et særligt afsnit med fokus på denne feature. Du bestemmer selv, hvordan du vil evaluere denne, men for hvert problem, du identificerer, skal du beskrive problemets karakter, alvorsgrad og eventuelt løsningsforslag. Afgrænsning: Du skal ikke gennemgå Samtaleforaet I netbutikken skal du ikke evaluere købsprocessen efter at varer er lagt i kurven.

28. Typiske ”fejl” • Generaliseringer • HEP og EDEP – uklare beskrivelser • Dårlig brug af alvorsgrad • Dårlig relation til brugssituation • 1 af hver heuristik

29. DEN HEURISTISKE EVALUERING Aftenens øvelse 29

30. Heuristisk evaluering 1 planlægning Planlæg udførelsen af evalueringen i gruppen så I alle gør det på samme måde • Afgrænsning • Hvilke dele af sitet evaluerer I på? (Jf. jeres afgrænsning) • Hvilke heuristikker er eventuelt ikke relevante? (Jf. jeres opstillede mål for sitet) • Jakob NielsensHeuristikker 10 – den blå bog s. 68-77

31. Individuel gennemgang (1 time) Beskriv hvor problemet er fundet og hvordan det opstår/fremstår (man kan angive URL, dog ikke til eksamen) Angiv hvilken heuristik(ker), fejlen hører ind under – eller gerne hvilke andre usability principper/teorier problemet kan henføres til Giv problemet en alvorsgrad jf. S. 82. Giv en præcis og forståelig beskrivelse af problemet som det opleves fra brugerens side = Tænk: Hvorfor er det et problem og Hvad er problemet? Opstil evt. disse resultater i et skema / en tabel. Se i øvrigt den blå bog s. 80-84 Heuristisk evaluering 2Individuel gennemgang (1 time)

32. Heuristisk evaluering 3 Sammenligning og diskussion afresultater (½ time) I skal i gruppen: Sammenligne resultater Lave en fælles skema, justere alvorsgrad (prioriter – medtag kun relevante og væsentlige fund) Vurdere problemer som kun én har fundet

33. Gode råd til i dag Vær opmærksom på, at nogle heuristikker er nemmere at finde end andre. Noter alt I efter bedste evne mener, giver anledning til problemer for brugerne. I kan altid sortere sammen med jeres gruppe. I skal kunne det til eksamen (altså ekspertvurderingen), så tag jer tid til at få det prøvet ordentligt.

34. Rapporten skal indeholde… En sammenfatning af gruppens resultater. fx i et skema / en tabel, hvor mange af gruppens medlemmer, der oplevede det pågældende problem. Forslag til forbedringer af websitet på baggrund af resultater, ikke nødvendigvis designforslag, men også for usability generelt. En vurdering af metoden i forhold til tidsforbrug / udbytte (se evt. Jakob Nielsen om evaluering). Hvad skal man være opmærksom på, hvis en ekspertvurdering skal stå alene som metode til evaluering? Hvilke områder er ikke dækket ind under den heuristiske evaluering som den er beskrevet af Jakob Nielsen?

35. Aflevering Rapport MAX 3 sider i wordformat (Gr-X-Opg-5.doc) til mthomsen@itu.dksenest mandag kl. 12.00 Angivelse af site/url Relevante screenshots SPØRGSMÅL?