Ihmisen biologiset signaalit (hyötykäytössä ihminen-kone käyttöliittymissä)

1. Ihmisen biologiset signaalit(hyötykäytössä ihminen-kone käyttöliittymissä) Toni Auranen, 23.1.2002 (S-114.740 Biological H-M Interfaces, 2 ov, L) Kuvat kirjoista: Psychophysiological Recording (R. M. Stern, W. J. Ray, K. S. Quicgley) Psychophysiology (Kenneth Hugdahl)

2. Kysymyksiä • Minkälaisia biologisia signaaleja on olemassa? • Mitä näistä voidaan mitata? • Miten näitä voidaan mitata? • Mitä voidaan mitata luotettavasti? • Mitä hyötyä mittauksista/tuloksista on? (hyöty = soveltuu ihminen-kone käyttöliittymiin)

3. Yleistä • psykofysiologia • millaisia fysiologisia muutoksia psyykkiset prosessit saavat aikaan • kehitys omana alana alkoi 1950-luvulla • John Stern, 1964: ”…any research in which the dependent variable is a physiological measure and the independent variable a behavioral one.” • aivojen sähköiset ilmiöt, sydämenlyönnit,…

4. Yleistä • fysiologinen psykologia • millaisia psykologisia muutoksia fysiologiset prosessit saavat aikaan • vastakkaisuus Sternin määritelmään • nykyään esim. sydämen lyöntitiheyttä voidaan muokata ja tutkia sen psyykkisiä vaikutuksia • Alzheimerin tauti, rytmihäiriöt,… • Kumpi oli ensin – muna vai kana?

5. Hermosto • ääreishermosto (peripheral nervous system) • somaattinen hermosto – tahdosta riippuva • tiedot aisteilta, lihasten säätely… • autonominen hermosto – tahdosta riippumaton • esim. sisäelinten toiminta • sympaattinen (energiavarastoja kuluttava) ja parasympaattinen (energiavarastoja tuottava) osa • keskushermosto (central nervous system) • aivot ja selkäydin • ohjaa kaikkea mitä kehossa tapahtuu

6. aivoissa aivolohkot • erikoistuneet eri asioihin • motorinen, somatosensorinen, visuaalinen,… • hermoston osat • keskushermosto (CNS) • ääreishermosto (PNS)

7. Biologisia signaaleja • aivojen sähköinen toiminta • electroencephalography, EEG • magnetoencephalography, MEG • veren virtaus aivoissa • positron emission tomography, PET • functional magnetic resonance imaging, fMRI • sydämen sähköinen toiminta • electrocardiography, EKG/ECG

8. Biologisia signaaleja • verenpaine (ja veren virtaus) • hengityselimistön toiminta • vatsan sähköinen ja mekaaninen toiminta • electrogastrography, EGG • lihaskudosten sähköinen toiminta • electromyography, EMG

9. Biologisia signaaleja • silmänliikkeet ja pupillin toiminta • electrooculography, EOG • pupillography • ihon sähkönjohtokyky • electrodermal activity, EDA • Onko muita signaaleja? • Mistä signaaleista on hyötyä ajatellen I-K käyttöliittymiä?

10. EEG • electroencephalogram – aivosähkökäyrä • pään pinnalta mitattua aivojen sähköistä toimintaa • aivojen hermosolujen elektrokemiallinen toiminta tuottaa sähköä (suuruusluokka mikrovolteissa) • miljoonat solut aktivoituvat samanaikaisesti • yksinkertaisesti: kyseessä on kahden elektrodin potentiaaliero • 1…45 Hz, referenssit, häiriöherkkyys… • päänahalla jopa 256 elektrodia • elektrodit, lakit…

11. alpha-rytmiä • beta-rytmiä • elektrodien paikat

12. EEG • ihmisillä ensimmäisenä mittasi Hans Berger, 1929 • EEG:ssä havaitaan selviä muutoksia erilaisten suoritteiden aikana • keskittyminen, rentoutuminen, muistitehtävät, visuaaliset vasteet, vasteet akustisille ärsykkeille… • signaalit keskiarvoistettava  vaatii monta toistoa • laitteet aikaisemmin suuria, nykyään taskukokoisia • aiemmin piirturit, nykyään tietokoneen näytöt sekä hyvin kehittyneet signaalinkäsittelymenetelmät

13. ERP = event-related potential • ERP osat

14. EEG • hyviä puolia • hyvä aikaresoluutio • menetelmä on suhteellisen edullinen • helppo käyttää • vuosien kehitystyö • huonoja puolia • huono paikkaresoluutio • ikävä/ruma koehenkilölle/käyttäjälle (ABI, HCI) • signaalit vaihtelevat hyvinkin paljon yksilöiden välillä • herkkä häiriöille

15. EEG • mittaustapaa voi soveltaa hyötykäyttöön (ihminen-kone käyttöliittymät)

16. MEG • mitataan samaa ilmiötä kuin EEG:ssä, mutta tällä kertaa mitataan sähkövirtadipolien tuottamaa magneettikenttää • menetelmä on erittäin hyvä perustutkimuksessa, mutta ihminen-kone käyttöliittymiin sitä ei voi soveltaa

17. PET • PET mittaa muutosta aivojen verenkierrossa • aktiiviset alueet tarvitsevat enemmän happea • veri kuljettaa happea • vereen ruiskutetaan (radioaktiivista) varjoainetta, joka havaitaan PET-kuvauksessa • soveltuu perustutkimukseen (eettiset kysymykset), mutta ei I-K käyttöliittymiin

18. fMRI • fMRI mittaa myös muutosta aivojen (tai muun elimistön) verenkierrossa • veren hemoglobiinin magneettiset ominaisuudet muuttuvat riippuen siitä onko siihen sitoutunut happea vai ei • näiden paikallisten magneettien voimakkuutta verrataan ulkoiseen magneettiin • veri kuljettaa happea ja se vapautuu aktiivisissa kohdissa • soveltuu perustutkimukseen, mutta ei apua I-K käyttöliittymille

19. EKG ja verenpaine • sydämen sykettä ja verenpainetta voidaan mitata • kliiniset sovellukset molemmissa tapauksissa • sairaalalaitteet, lääkärit,…

20. autonomisen hermoston hallinnassa ja mekanismit hyvin monimutkaiset…

21. EKG ja verenpaine • …joten näitä signaaleja ei voi hallita, vai voiko… • jooga, fakiirit • syke saattaa olla niin alhainen, että jopa lääkärit ehtivät julistaa kuolleeksi • ei voi soveltaa I-K käyttöliittymiin

22. Hengittäminen • sisäänhengitys vaikuttaa esim. seuraavasti • sydämen syke nousee • ihon sähkönjohtokyky laskee • R. M. Stern ja C. Anschel, 1968 • hengitys mitataan usein psykofysiologisissa tutkimuksissa häiriöiden hylkäämistä varten • vaikka hengitystä voidaankin säädellä, tämä signaali ei sovellu I-K käyttöliittymiin

23. EGG • ruoansulatuselimistön toiminta • mitataan elektrodeilla ihon pinnalta • suhteellisen vähän tutkittu alue • autonominen hermosto ohjaa • ei sovellu I-K käyttöliittymiin

24. EMG • lihaksen jännittyessä potentiaali on suorassa yhteydessä lihaksen jännityksen voimakkuuteen • potentiaali voidaan mitata tavallisilla pintaelektrodeilla • 1…1000 Hz (10…150 Hz) • suuruusluokka satoja mikrovoltteja • näkyy mitattaessa EEG:tä

26. lihastoiminta • emootiot

27. EMG • emootioiden tutkiminen (kasvojen liikkeet) • lihassairaudet • voi soveltaa I-K käyttöliittymissä jossain määrin • elektrodit käteen ja näillä ohjataan esim. robottikättä • proteesien ohjaus?

28. EOG • silmän liikkeitä • sakkadiset liikkeet: nopeasti yhdestä fiksaatiopisteestä toiseen • kompensoivia liikkeitä: pään tai kehon liikkeitä kompensoivat • pieniä liikkeitä: tärinä, nopeat liikkeet, … • nystagmus: usean tyyppistä, periodinen liike • silmien räpyttely (EMG) • pupillin liikkeet • muita…

29. EOG • eri liikkeet johtuvat sekä fysiologisista että psyykkisistä ärsykkeitä • esim. pupillit • mittaustapoja: • EOG:llä mitataan silmää ympäröivien lihasten sähköistä toimintaa (EMG) • valokuvaus • pupillien liikkeet, silmien liikkeet • mittausten kvantisointi • erilaiset heijastusmittaukset ja piilolinssit

30. mittausasetelma • tuloksia

31. EOG • EOG:tä käytetään kontrollitilanteena EEG:n ja MEG:n mittauksessa • silmänräpäytykset näkyvät EEG:ssä häiriöinä • ainakin katsesuuntaa (silmien valokuvaus) voi soveltaa I-K käyttöliittymiin • EOG:n käyttö onnistuu myös

32. EDA • GSR (galvanic skin reflex), EDA (electrodermal activity) • mitataan muutoksia ihon sähkönjohtokyvyssä tai potentiaalissa • kostea iho johtaa paremmin • neljä perusmittausta • SCL, skin conductance level • SCR scin conductance response • SPL, skin potential level • SPR, skin potential response • yleensä mitataan konduktanssia

33. elektrodien asettaminen • hikirauhanen

34. EDA • Carl Jung, 1907: …EDA paljastaa mielen salat. • nykyään valheenpaljastuskoneet • psykofysiologiset tutkimukset • tämän signaalin käyttö I-K rajapinnassa on käytännössä mahdotonta, koska signaalia ei voi hallita

35. Biologisia signaaleja hyötykäyttöön • parhaina rajapintoina seuraavat menetelmät: • EEG • EOG, EMG • muita…? • tulokset tulisi olla toistettavissa • tulokset ovat monesti herkkiä tilanteessa ilmentyville häiriöille/häiriötekijöille • savukkeet, stressi, mielentila,… • suurin osa biologisten signaalien mittareista vain kliinisessä ja tutkimuskäytössä

36. Biologisia signaaleja hyötykäyttöön • mittaustavan tulisi olla (hyöty)käyttäjälle mukava • virheisiin ei ole varaa • esim. pyörätuolin ohjaus • käyttäjän saatava välitön palaute sovellukselta

37. Pohdintaa • eettiset kysymykset? • todellinen hyöty käyttäjälle?  huvi? • onko muita biologisia signaaleja? • pystytäänkö muita kuin jo käytettyjä signaaleja hyödyntämään tiedon lisääntyessä ja tekniikan kehittyessä? • tuleeko menetelmistä 100% varmoja? • …