340 likes | 753 Vues
Arviointi. Arviointikriteerit suureet, joita mitataan Referenssiarvot, joihin mitattuja suureita verrataan Mittarit eli menetelmt, joilla mittaus toteutetaan Formatiivinen arviointi: Kehitystyn aikaista mittaamista Summatiivinen arviointi: Valmis, toimiva jrjestelm, yhteenvedon
E N D
1. Arvioinnista yleisesti, tarkoitus, perustelu, asetelmat, menetelmt, kohteet, kriteerit, arvioinnin mallit Pirkko Nyknenvs professori, Tampereen yliopisto
2. Arviointi Arviointikriteerit
suureet, joita mitataan
Referenssiarvot,
joihin mitattuja suureita verrataan
Mittarit eli menetelmt,
joilla mittaus toteutetaan
Formatiivinen arviointi: Kehitystyn aikaista mittaamista
Summatiivinen arviointi: Valmis, toimiva jrjestelm, yhteenvedonomainen
Konstruktiivinen arviointi: Arviointi antaa palautetta kehitystylle
3. Arviointiasetelma Kenen nkkulmasta arvioitavaa kohdetta tarkastellaan
Terveydenhuollon ammattilaisten, kyttjien, kehittjien, pttjien, johdon, rahoittajien, organisaation / alueen / valtakunnallisen suunnittelun
Mikro-, meso-, makrotasot
Mikro - yksittisen toimijan taso / tiimin taso
Meso - yksikn / osaston / organisaation taso
Makro - alueen / palvelujrjestelmn / valtakunnan taso
MENETELMT: Kuinka tieto kertn arviointia varten ?
Haastattelut, kyselyt, tynkulkuanalyysi, prosessimallit ja -analyysi, havainnointi, aikamittaukset, ryhmarviointi, koejrjestelyt, kirjallisen materiaalin kytt, toimintatutkimus, casetutkimus, log in-tiedonkeruu, testaus / testitapaukset etc
4. Arvioinnin perusta - trket kysymykset !
Mik on arvioinnin tarkoitus? Keit varten arviointi tehdn?
Mitk on alueet arviointi kattaa ? Miksi juuri nm alueet ?
Mitk ovat arvioinnin kohteet ?
Ketk arvioinnin tekevt ? Miksi juuri nm ihmiset, asiantuntemus, suhde arvioinnin kohteeseen ?
Kuinka paljon on resursseja, miss vaiheessa ?
Onko olemassa valmis metodologia?
Millaista jrjestelm arvioidaan; kliinist, hallinnollista,..
Miss kehitysvaiheessa jrjestelm on? Esitutkimus- Mrittely - Suunnittelu - Toteutus - Kyttnotto - Kytt?
Kuinka suuri on tutkimusmateriaali ?
Onko tutkimusasetelmassa mahdollisia vristymi? Mik on niiden vaikutus lopputulokseen?
Onko mitattavan suureen ja arvioinnin menetelmn vlill yhteys?
Ptevtk arvioinnin tulokset mys muissa ympristiss ja tilanteissa?
5.
6. Terveydenhuollon teknologian arviointi
Kohteena:
Terveydenhuollon menetelmt
hoitomenetelmt, lkkeet, laitteet, laitteistot, tarvikkeet
tukijrjestelmt, tietojrjestelmt, hallinnolliset jrjestelmt
Lhtkohtia
Teknologialhtinen: Neurokirurgisten tyasemien vaikutus neurokirurgian tuloksiin ?
Ongelmalhtinen: Mik on paras tapa tehd sydnkirurgiaa?
Ohjelma / projektilhtinen: Tulisiko aloittaa kansallinen rintasyvn seulontaohjelma ?
7. Terveydenhuollon menetelmien arvioinnin yleinen tavoite on tiedon tuottaminen menetelmien vaikuttavuudesta, tehokkuudesta (kustannus-vaikuttavuudesta), riskeist sek niiden kyttn liittyvist eettisist ja sosiaalisista nkkohdista
Arviointi kohdistuu sek uusiin ett kytss oleviin menetelmiin
Arvioinnin avulla selvitetn menetelmien kyttnottoon ja levimiseen liittyvi tekijit joko uutta tietoa tuottamalla tai olemassaolevaa tietoa uudelleen organisoimalla ja syntetisoimalla
Arvioinnin tuloksena saadaan mys tietoa teknologioita kehittville ja tuottaville yrityksille liiketaloudellisista kysymyksist ja markkinarakenteista maailmanlaajuisesti
8. Tietojrjestelmt ja ympristt
9. Tietojrjestelmien kehittmisprosessi
11. Miksi tietotekniikkaa pit arvioida Tietotekniikka kallista, laajavaikutteista, merkitys kasvaa
Vaikutuksia toimintarakenteisiin, prosesseihin, hoitoon ja sen tuloksiin, tytehtviin, tyn ptevyysvaatimuksiin, tyn organisointiin,...
Tarjolla erilaisia vaihtoehtoja
Halutaan selvitt tietotekniikan hytyjen vaihtelua eri paikoissa, tekniikka ei tuo automaattisesti hytyj
Siirretn tietotekniikkaa erilaiseen ympristn (technology transfer)
Kehitetn toimintaa tietotekniikan avulla
halujtaan selvitt saavutetut tavoitteet, hydyt, vaikutukset - ja minimoida negatiiviset vaikutukset
Halutaan selvitt kyttnotetun tekniikan ominaisuuksia ja hyvksyttvyytt
Eponnistunut tietojrjestelm ?
Vaikea mritell yksiselitteisesti
Yleens mritelln yksittisin tilanteina
toimivaa jrjestelm ei ole saatu aikaan
kustannukset suuret
tietojrjestelm ei tuota hyty
harva kytt jrjestelm
asenteet negatiiviset jrjestelm kohtaan
rakennettu vr jrjestelm, vr ongelma ratkaistu, vr ratkaisu toteutettu
12. Tietotekniikan arvioinnin kysymyksi Millainen teknologia olisi parasta, sopivinta ?
Tietojrjestelmn kytettvyys ?
Tietojrjestelmn tekniset ominaisuudet?
Onko jrjestelm kytttarkoitukseen ja kyttjille sopiva?
Miten jrjestelmn kyttnotto vaikuttaa organisaation toimintaan, toiminnan tuloksiin, tytehtviin, rakenteisiin, valta- ja vastuusuhteisiin, toiminnan laatuun, kustannuksiin,?
13. Tietojrjestelmien arvioinnin mallit DeLone & McLean viitekehys
14. Laajennettu DeLone & McLean 2003
15. VATAM kehys (EU HC1115)
16. Standardiperustainen malli Arvioinnin perustana lait, normatiiviset ohjeet, standardit
ISO9000
TQM, Total quality management - ajattelu
Laatupalkintoajattelu
Ongelmana: standardien puute, standardien teknisyys, todellisuuden ja standardien erot!
17. Elinkaarimalli Tietojrjestelmn kehitysvaiheisiin sidottu malli
1 Jrjestelmn alustavat spesifikaatiot
2 Jrjestelmn validisuus
3 Jrjestelmn toimivuus ja kytettvyys kyttjympristss
4 Jrjestelmn vaikutukset kyttjn, organisaatioon, terveydenhuoltopalvelujen jakeluun, tuloksellisuuteen, hoidon laatuun,..
18. Tavoitelhtinen malli Operationalisoidaan hankkeelle / jrjestelmlle asetetut julkituodut tavoitteet
Arvioinnin avulla tuotetaan tietoa miss mrin (ja millaisin kustannuksin ja panoksin) asetetut tavoitteet on saavutettu
Ongelmana:
Tavoitteet joskus yleisi, virallinen dogmatiikka joskus yksipuolista, ristiriitaista, tavoitteet vri, olemassa epvirallisia tavoitteita, painottaa usein johtajien nkkulmaa, niit ei voida aina mitata, projektit muuttavat muotoaan ja tietojrjestelmill odottamattomia vaikutuksia
Ovatko organisaatiot ja projektit mekanistisesti toimivia kokonaisuuksia?
Suosittu lhestymistapa, Hyv lhtkohta
Kinnunen J & Nyknen P, Terveydenhuollon tietotekniikan arviointi, 1999
19. Monitoimijamalli, sidosryhmajattelu eri toimijoilla erilaiset odotukset, tavoitteet arvioinnin kohteen suhteen
Tietojrjestelmn arvioinnin sidosryhmt niit, jotka vaikuttavat arviointiin ja joihin arviointi vaikuttaa
Vaikutus suora eli vlitn tai epsuora eli vlillinen
Huomioonotettavaa on suhde jrjestelmn
Erittin yleinen sidosryhmjaottelu on 1) kyttjt,
2) pttjt, 3) kehittjt ja 4) ulkopuoliset
johdetaan arvioinnin kriteerit valitusta toimijankkulmasta, tai useammasta
auttaa selvittmn teknologian tai jrjestelmn vaikutuksia eri toimijoihin
Ongelma: tyls, vaikeus yhteensovittaa arvioinnin tuloksia
Turunen P, 2001
20. Kehittmisen ja arvioinnin yhdistminen Kehitysvaihe Arviointifokus Tarkasteltavat suureet
Ongelma ongelman kuvaus, tehtvn ympristmuuttujat: ulkoinen, organisaatio,
ja kohdealueen kuvaus kehittmis- ja kyttymprist
Prototyyppi prototyypin kehittminen, kytt, prosessi:kehittmis- ja kyttprosessit
prototyypin ominaisuudet jrjestelm: sislt, esitys, skaala,
tietmys, sovellus
Jrjestelm validisuus, toiminnallisuus, jrjestelm
- kyttj kytettvyys
-kehittj menetelmt ja tykalut, kehit- prosessi: kehittmis- ja kytt
tmisprosessi ymprist: ulkoinen, org, kehitt. kytt
Kehittminen, analyysi, kehitys, implem, ymprist
laajennus, arviointi prosessi
yllpito jrjestelm
Nyknen 2000: Decision support systems from a health informatics perspective
21. Tietojrjestelmien arvioinnin kohteita Tietojrjestelmn ominaisuudet
Toiminnallisuus, soveltuvuus kytttarkoitukseen, kytettvyys, avoimuus, luotettavuus, skaalattavuus, siirrettvyys, yllpidettvyys, standardien-mukaisuus, arkkitehtuuri, teknologiavalinnat, ..
Tietojrjestelmn suunnitteluprosessi, rakentamisprosessi, kyttnottoprosessi, yllpitoprosessi
Menetelmt, lhestymistavat, vlineet, tykalut, dokumentaatio, tiedonhallinta, suunnittelu- ja toteutusratkaisut ja niiden perustelut,.
Tietoturvallisuus, juridiset vaikutukset
Toiminnallinen, tekninen, fyysinen tietoturva, potilastietojen ksittelyn lainmukaisuus, tietosuoja
Kustannus-vaikuttavuus, kustannus-tehokkuus, kustannus-hytysuhde
Teho, tehokkuus
Kapasiteetti, nopeus, vasteajat, kyttjmrt, tapahtumamrt,.
22. Eettiset vaikutukset: tasa-arvo, oikeuksien silyminen, syrjytymisen estminen
Vaikutukset elmnlaatuun, elinvuosiin, toimintakykyyn, itseniseen selviytymiseen
Vaikuttavuus organisaation ja/tai toimintayksikn toimintaan, toiminnan tuloksiin, toimintatapoihin, toimintakytntihin, toiminnan rakenteisiin, ptksentekoon, .
Alueellinen ja/tai valtakunnallinen vaikuttavuus: Vaikutus alueelliseen yhteistyhn, verkottumiseen, alueelliseen toimintaan ja ptksentekoon, yhteistyrakenteisiin, palvelujrjestelmn, terveydenhuollon toiminnan organisointiin,...
Sosiaaliset vaikutukset:
Yksillliset vaikutukset, tyn ja tytehtvien muuttuminen, tyn tekemisen muuttuminen, professiot, ammattikytnnt, vuorovaikutus, yhteisty, sosiaaliset kontekstit,
24. Ptstukijrjestelmien arvioinnista Pttuskijrjestelm
Decision Support System, DSS, tietojrjestelmtieteen nkkulma
Knowledge Based System, KBS, asiantuntijajrjestelm, tekolyn nkkulma
Ptksenteon tukeminen
25. Ptksentekoprosessi
26. Ptstukijrjestelmn arviointi usein ollaan erityisesti kiinnostuneita jrjestelmn
pttelyn oikeellisuudesta
tuloksen kytettvyydest
pttelyn perustelujen esittmisest
jrjestelmn vaikutuksista ptksenteon nopeutumiseen, tehostumiseen, yksinkertaistumiseen, tuloksellisuuteen
ptstukijrjestelm pitisi arvioida osana koko ptksentekoprosessia
ptsprosessin tulokset riippuvat kokonaisuuden validisuudesta
27. Tietojrjestelmn kytettvyys mrittelee:
ratkaiseeko jrjestelm kyttjn nkkulmasta oikeat ongelmat (eli jrjestelmss on kyttjn tarvitsemat ominaisuudet) ja
ratkaiseeko jrjestelm ongelmat oikealla tavalla (eli jrjestelm on helppo kytt)
Tietojrjestelmn mrittelyss ja suunnittelussa opetellaan tuntemaan kyttjt ja heidn toiveensa ja tarpeensa, jotta kyttjnkkulma pystytn huomioimaan suunniteltavassa jrjestelmss Kytettvyys on jrjestelmn laatutekij kyttjn nkkulmasta ksin
28. Kustannus-vaikuttavuus, kustannus-tehokkuus, kustannus-hytysuhde Kustannus-vaikuttavuus;
vaikuttavuuden mittarit kliinisin yksikkin kuten saavutettuina elinvuosina, kuolleisuuden vhenemisen, sairastavuuden vhenemisen
Kustannus-hyty (utiliteetti)analyysi;
seurataan terveysvaikutuksia arvotetulla indeksill pitkittistutkimuksessa
Health related quality of life, Sintonen: 15D-mittari
Ohinmaa 1999, FinOHTA
29. Kustannusvaikutusten arvioinnin yleiset periaatteet tarkat kustannusanalyysit sek uudelle ett vanhalle menetelmlle
1 kaikkien merkittvien kustannustekijiden tunnistaminen
2 kustannustekijiden mittaaminen luonnollisissa yksikiss
3 kustannusten arvottaminen
tarkastellaan suoria, epsuoria, aineettomia kustannuksia
pyritn selvittmn kaikille osapuolille aiheutuneet kustannukset (terveyspalvelujen tuottaja, potilas, omainen, muiden palvelujen tuottajat)
30. Arvioinnin ongelmat, sudenkuopat Arvioitsijan ulkopuolisuuden, puolueettomuuden silyminen
Mitattavien arviointisuureiden valinta - mitataan niit asioita, jotka kuvaavat tarkasteltavaa ilmit
Oikean menetelmn valinta - pystytn mittaamaan valittuja suureita, ominaisuuksia
Mittaustilanne, koejrjestely
- vristymt, tulkinnat, hirit
Tulosten tulkinta, johtoptkset
- arviointitilanteen kehyksess!
32. KIITOS!
Pirkko.Nykanen@uta.fi