Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys

1. Asiantuntija-arvio vs. käyttäjillä testaaminen: testitapausten merkitys Aki Korpua Seminaari: Käyttöliittymien arviointi menetelmät Helsingin Yliopisto 2006

2. Aiheet • Testitapauksia yleisesti katsastaen • Esimerkki 1: Teamwave Workplace • Esimerkki 2: HelMet simulaatio ja käytäntö • Esimerkki 3: Last.fm • Käyttötapaus ~ Testitapaus ~ Tehtävä

3. Testitapausten merkitys • Kuvaa jotain tehtävää, joka tulisi suorittaa testattavalla käyttöliittymällä. • Vaikuttaa: • Minkälaisia ongelmia ohjelmasta löytyy. • Miten käyttöliittymää arvioidaan. • Mitä osia käyttöliittymästä testi kattaa.

4. Testitapausten haaste • Asiantuntia arvioinneissa ei ole oikeaa käyttäjää. Onko testi järkevä käyttäjän kannalta? • Hyvä testitapaus antaa paremman kuvan siitä miten oikea käyttäjä haluaisi käyttää ohjelmaa. • Hyvän testitapauksen löytäminen edellyttää käyttäjähaastatteluita ja –tarkkailuja. • Tärkeää pystyä löytämään kaikki tarvittava tieto testitapausta varten, niin että se vastaisi mahdollisimman hyvin oikeaa käyttötilannetta.

5. Tavoitepohjainen käyttö/testitapaus • Irrottaa käyttäjän tavoitteen järjestelmästä. • Antaa tarvittavat tiedot nykyhetken tilasta sekä käyttäjän tietämyksestä: • Tarvittavat faktat • Ajanhetken (aktivoitumistila) • Mitä käyttäjä tietää/ei tiedä • Mahdolliset ajat, paikat ja resurssit

6. Esimerkki: Teamwave Workplace • Asynkroninen ryhmätyökalu. • Halutaan helpottaa robottihitsaus koneiden suunnitteluryhmän toimintaa. • Osa ryhmän tutkijoista työskentelee etänä.

7. Esimerkki: Teamwave Workplace • Kaksi erillistä käytettävyystestiä • Käyttäjätestaus • Käyttöliittymäkatselmus • Vertaillaan testien tuloksia

8. Käyttäjätestaus • Työryhmä koulutettiin käyttämään TW:tä • Työryhmä käytti ohjelmaa 2,5 kuukauden ajan yhteistyöskentelyn tukena • Kerättiin lokia • Jälkeenpäin tehtiin kyselylomake ja henkilökohtaisia haastatteluita • 2 analyytikko vietti yli 5 kuukautta käydessään läpi tarkkailuntuloksia

9. Käyttöliittymäkatselmus • 4 testaajaa, kukaan ei tuntenut robottihitsaus alaa eivätkä erityisesti tienneet kohderyhmän toimintatavoista. • Testi muistutti heuristista evaluaatiota • Tunnin ohjelman tutkiskelu • Tunnin synkronoitu tehtävä • Alustava katselmus itsenäisesti • Kolmen päivän asynkroninen tehtävä • Lopullinen katselmus yhdessä • Tehtävillä yritettiin katsoa yleisesti ohjelman toimintoja • Valitettavasti tehtäviä ei oltu annettu lähteessä 

10. Yhteistyön luokittelu Käyttöliittymä ongelmat luokiteltiin näihin kategorioihin. 1. Explicit communication 2. Implicit communication 3. Coordination of action 4. Planning 5. Monitoring 6. Assistance 7. Protection

11. Arviointi Rating Description +2 Very succesful, few problems +1 Often succesful, but some awkwardness 0 Adequate: no major problems or major benefits -1 Useful in some situations but many drawbacks -2 Rarely succesful with many failures N/A Not enough information to rate

12. Löydettyjä ongelmia: yhteisiä • Explicit communication/Monitoring (7,1): Vaikeaa havaita uusia viestejä chatissä • Explicit communication (3,3): Kommunikointi onnistuu vain huoneen sisällä, ei huoneiden välillä • Monitoring (8,9): Huoneessa olevien ihmisten ja toiminnan seuraaminen vaikeaa. Värit eivät auta (käyttäjätestauksessa oli yksi värisokea) • Protection (10,10): Ei omistajuutta esineille, eikä undo toimintoa. • Planning (9,4): Suunnittelu työkalut olivat heikkoja, käyttivät muita työkaluja tähän tarkoitukseen

13. Löydettyjä ongelmia: vain käyttäjätestaus • Explicit communication: Hankala erottaa oleellinen osa huoneessa käytävästä keskustelusta • Explicit communication: Ei tarpeeksi tehokkaita työkaluja kommunikointiin (parempi laatuiset kuvat) • Explicit communication: liitutaulu-työkalu oli liian kömpelö ja hidas kommunikointiin • Explicit communication: Heikkoja työkaluja, vain yleiskäyttöisimpiä kommunikointityökaluja oli käytetty • Implicit communication: Oli vaikeaa huomata muutoksia esineissä (käyttivät sähköpostia tähän)

14. Löydettyjä ongelmia: vain käyttöliittymäkatselmus • Explicit communication: Ei pystynyt tietämään ”kuunteliko” toinen chattia • Coordination: Hankala tietää mitä toiset olivat tekemässä • Coordination,Monitoring: Yhteiskäytön hallinta heikkoa, saattoi yhtä aikaa kirjoittaa toisen työn yli. • Monitoring: Hankala huomata milloin ihminen saapui/lähti huoneesta • Monitoring: Hankala huomata mitä huoneessa on tapahtunut sitten viime kerran kun oli siellä

15. Erojen pohdintaa • Vain kymmenen pahinta ongelmaa, painotus oli eriarvoista • Työryhmä kiersi osan ongelmista käyttämällä jotain toista tapaa, jolloin se ei ollut enää niin suuri ongelma kuin katselmuksessa arveltiin • Katselmuksessa ohjelman käyttö oli intensiivisempää. Työryhmässä ohjelmaa harvoin käytti oikeasti monta ryhmäläistä yhtä aikaa.

16. Käyttäjätestaus: 1. Explicit communication +1 2. Implicit communication -1 3. Coordination of action N/A 4. Planning -1 5. Monitoring -1 6. Assistance N/A 7. Protection 0 Katselmus 1. Explicit communication -1 2. Implicit communication -1 3. Coordination of action 0 4. Planning -1 5. Monitoring 0 6. Assistance -1 7. Protection -1 Arviointi

17. Käyttäjätestaus - päätelmä • Työryhmä hyötyi mielestään ohjelman käytöstä • Paransi työskentelyn tehokkuutta • Työryhmä käytti myös järjestelmän ulkopuolisia järjestelmiä hyväksi esim. sähköpostia ja kokouksia • Osaa ohjelman tarjoamista ominaisuuksista he eivät käyttäneet laisinkaan • Kaikkea ei pystytty arvioimaan kunnolla. Käyttäjätarkkailu olisi mahdollisesti auttanut tässä.

18. Käyttöliittymäkatselmus - Päätelmä • Käyttöliittymässä paljon ongelmia: explicit communication. Keskustelutyökalu kömpelö. • Huono tuki pidempi aikaiselle yhteistyölle • Eivät suosittelisi ohjelmaa käytettäväksi työryhmälle

19. Päätelmiä – yhteenveto 1/3 • Yli puolet ongelmista olivat samoja 10 pahimman joukossa • Käyttäjätarkkailu havaitsi silti ohjelman hyödylliseksi kun katselmus olisi hylännyt sen • Halvempi katselmus on hyödyllinen ja se on suositeltavaa suorittaa ennen kenttätutkimusta • Katselmus tarkasteli ohjelmaa yleisesti, kun taas käyttäjätestaus keskittyi täysin vain ryhmän tarpeisiin

20. Päätelmiä – yhteenveto 2/3 • Käyttäjätarkkailua ei tehty. Osa informaatiosta miten käyttäjät yrittivät käyttää ohjelmaa ongelmiensa ratkaisuun jäivät pimentoon käyttäjätestauksessa. • Käytettiin (ilmeisesti) yleisiä yksinkertaisia tehtävä- skenaarioita katselmuksessa. • Tehtäviin olisi voinut liittää ryhmä jäsenten tietämystä: • Tieto- ja taitotaso • Muut käytettävissä olevat menetelmät (sähköposti, puhelin,…) • Kokous mahdollisuus

21. Päätelmiä – yhteenveto 3/3 • Jos testitapauksia olisi painotettu juuri ryhmäntarpeiden mukaan olisiko tulokset olleet enemmän samanlaisia? • Jos kyllä, voisiko kalliin ja aikaa vievän käyttäjätarkkailun jättää pois ja korvata halvemmalla menetelmällä? • Miten voimme olla varmoja että testitapaukset ovat tarpeeksi hyviä tarpeisiimme?

22. Toinen esimerkki • Tutkitaan miten vahvasti testitapaukset vaikuttavat asiantuntija arvioiden tuloksiin. • Otetaan seminaarissa käytettyjä menetelmiä ja varioidaan näiden testitapauksia ja katsotaan miten ne voisivat vaikuttaa tuloksiin. • Simulointitestaus – Jyrki Salonen

23. Annen tavoite: Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen uusimman teoksen, mutta hänellä ei vielä ole kirjaa. Tilatietoja: Nyt on su 15.1.2006 klo 16.30 Anne on kotonaan Espoon Leppävaarassa Annella on kotonaan tietokone nettiyhteydellä ja sähköpostilla Annella on tunnukset www.helmet.fi -palveluun Hietamiehen uusi kirja on ilmestynyt viime syksyn aikana Laila Hietamiehen nimi on muuttunut Laila Hirvisaareksi ja uusi romaani Kruununpuisto on julkaistu tällä nimellä Annen tietämys: Anne tietää uuden Romaanin nimen Anne tietää Hietamiehen nimenvaihdoksesta Annella ei ole tapana ostaa kirjoja Leppävaaran kirjasto on Annelle tuttu ja hän on noutanut sieltä varattuja kirjoja aikaisemminkin Kirjastot: Useilla Helsingin kirjastoilla on kirja valikoimassaan Kirja on erittäin kysytty KT1: Laila Hietamiehen uusi kirja

24. Typistetty testitapausIlman tila- ja tietämysdataa Anne on Laila Hietamiehen romaanien suuri ystävä ja on lukenut tämän kaikki teokset. Hän aikoo lukea myös Hietamiehen (uusi sukunimi: Hirvisaari) uusimman teoksen (kruununpuisto), mutta hänellä ei vielä ole kirjaa.

25. Vaikutuksia • Testaaja ei välttämättä välitä lainkaan mistä kirjastosta hakee kirjan. • Varioimalla tila- ja tietämysdataa saadaan paljon erilaisia tilanteita lisää esille • rekisteröityminen • hakeminen kirjailijan nimellä • kirjailijan nimen muutoksen selvitys • Yksinkertainen testitapaus jättää asiantuntijan harteille huomata nämä seikat. • Motivoi huonommin miettimään miten oikeasti käyttäjä toimisi eri tilanteissa.

26. Kärjistetty testitapaus Kirjan kruunupuisto varaus HelMet-järjestelmässä. • Samat ongelmat kertautuu vahvemmin. • Saatetaan käyttää vain valmista Testi Testaaja varaajaa testissä. • Ei välitetä mahdollisesti milloin kirja olisi saataville; varattu ja sillä selvä.

27. Kaverisi Johanna kehuu sinulle Laila Hirvisaaren uusinta kirjaa kruununpuisto. Olet lukenut Laila Hietaniemen edelliset kirjat ja tiedät hänen nimen vaihdoksesta. Kun vielä kaverisi suosittelee kirjaa myös sinun kiinnostuksesi herää. Et kuitenkaan haluaisi ostaa kirjaa, koska sinulla ei ole ylimääräistä rahaa juuri nyt, vaan haluaisit mieluummin lainata sen kirjastosta. Olet kotonasi Korsossa (Peltomyyränkuja 2). Haluat siis lukea kyseisen kirjan mahdollisimman nopeasti. (ei syytä tähän?) Miten saisit kirjan ja milloin uskot saavasi sen? KT1: Laila Hietamiehen uusin kirja. (Jani Hanhisalo) virhe!!!

28. Vaikutuksia • Testitapauksella on hyvin tärkeä merkitys testikäyttäjän motivoitumiselle • Rahan puute motivoi käyttämään juuri kirjastoa (vaikka kirjan varaustilanne on paha) • Kysymykset Miten ja Milloin motivoivat kaivamaan nämä informaatiot käyttöliittymästä eli auttavat viemään testitapauksen loppuun asti

29. Tehtävä 2: onko Gordonilla ystäviä? (Samuli Kaipiainen) • Gordon sai lisättyä kaverinsa Samulin ystävälistalleen. Nyt häntä kiinnostaa, onkohan kukaan lisännyt häntä ystäväkseen, sillä hän on täpinöissään mainostanut Last.fm-sivuaan irc-kavereilleen. Erityisesti häntä kiinnostaa millaisia ystäväkuvauksia hän on saanut, lupsakka kaveri kun on. • Tilatietoa: • Gordon lisäsi juuri Samulin ystäväkseen • Gordon jäi sen jäljiltä Samulin profiilisivulle osoitteeseen http://www.last.fm/user/Ponkki/ • Gordon ei antanut rekisteröityessään sähköpostiosoitettaan, joten hän ei saa ilmoituksia ystävälistalisäyksistä • Lisätessään Samulin ystäväkseen, Gordon kuvaili ystävyyttä termillä ”grauuuu” • Gordonilla ei ehkä ole muita ystäviä

30. Muutoksia testitapaukseen • Lisäys kiinnostuksesta mitä Gordonista sanotaan itsestään lisää expand-infon käytön tarpeen testitapaukseen. • Jos irc-kaverit olisi lueteltu nimeltä, olisi voitu saada tapaus, jossa jokin ulkopuolinen henkilö olisi lisännyt gordonin ystäviin ja kiinnostus henkilön henkilöllisyyden selvittämisestä olisi herännyt

31. Lähteet • [Steves01] Steves M. P., Morse E., Gutwin C., Greenberg S., A Comparison of Usage Evaluation and Inspection Methods for Assessing Groupware Usability. Proceedings of the ACM SIGGROUP Conference on Supporting Group Work, ACM, 2001. • [Laakso05] Laakso S.A., Käyttöliittymät. Käyttöliittymät-kurssin luentomoniste, sarja D424, Helsingin yliopisto, tietojenkäsittelytieteen laitos, 2005. • [Salonen06] Jyrki Salonen, Simulointitestaus (simulation-based expert review). Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006 • [Kaipiainen06] Käytettävyysläpikäynti(usability walkthrough), Samuli Kaipiainen. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006 • [Hanhisalo06] Käytettävyystestauksella selville saatavat ongelmat (usability testing), Jani Hanhisalo. Käyttöliittymien arviointimenetelmät Seminaari, Helsingin Yliopisto, 2006s