Fra procesmålinger til resultatmålinger i den kommunale tandpleje

1. Forskningsleder Karsten Vrangbæk Fra procesmålinger til resultatmålinger i den kommunale tandpleje

2. Dagsorden hvilke resultatmålinger kan den kommunale tandpleje gennemføre for at dokumentere resultatet af det opsøgende, forebyggende og behandlende tandplejetilbud, der stilles til rådighed for borgerne? • Generelle betragtninger om præstationsmålinger og designvalg • Præstationsmåling og offentlig tandpleje. – ”Det muliges kunst” • Opsamling: generelle pointer Forskningsleder Karsten Vrangbæk

3. Resultatmåling og designvalg Politt 2011. Paper for EGPA conference, Bergen Forskningsleder Karsten Vrangbæk

4. Hvilke aktiviteter/aspekter af aktiviteter skal måles? • ”what’smeasuredgets managed”: input, proces eller resultat. – • Kun børnetandpleje eller også voksen og ældretandpleje? • Hvordan kommer den bredspektrede forebyggende indsats med i målinger? Forskningsleder Karsten Vrangbæk

5. Hvem skal måle? selvrapportering eller ekstern (akkrediterings-institution, brugere, professionelle, netværk) Forskningsleder Karsten Vrangbæk

6. Måling og data kvalitet Hvordan skal der måles: Hvilke teknikker? Periodisk eller ad hoc? Hvor troværdige er målene? Hvem har adgang til rådata? Vil de blive valideret? Forskningsleder Karsten Vrangbæk

7. Hvilke kriterier skal anvendes ved vurdering? Standard eller minimumsværdi (i så fald hvordan bestemmes den?), gennemsnit, tidsserie fra egen organisation, d) ift den/de bedste organisation(er) af samme slags, e) en kombination af a-d. – Bemærk, at den samme organisation kan score godt ift tidsserie, minimumsværdi eller gennemsnit, men være langt fra toppen. Forskningsleder Karsten Vrangbæk

8. Hvordan præsenteres informationen? Aggregering, indeks, vægtning, rangordning mv? Forskningsleder Karsten Vrangbæk

9. Hvem har adgang til information? Intern ledelse, ekstern administration, brugere, offentlighed i almindelighed, andre organisationer? –> Forskellige brugere har forskellige behov og evner! -> Offentliggørelse og anvendelse kan påvirke motivation til indrapportering. Forskningsleder Karsten Vrangbæk

10. Hvordan bruges informationen? a) symbolsk/rituel brug (”se, vi har også et moderne målesystem”), b) straffe dem der scorer lavt, c) som basis for bevillingsdiskussion (”vi har gjort det godt, så vi skal belønnes” eller ”vi har gjort det skidt, så vi har brug for flere ressourcer”), d) for at fremme organisatorisk læring, e) for at understøtte beslutninger om at fortsætte eller terminere bestemte aktiviteter, f) for at fremme individuelle karrierer, g) gemmes og glemmes, h) kombination af a-g. Forskningsleder Karsten Vrangbæk

11. Hvordan modtages måling i organisationen? Mulige organisatoriske reaktioner: indifferens hensigtsmæssig ændring af adfærd uhensigtsmæssig/ strategisk adfærd (pynte på resultater, ”window dressing”), midlertidig/selekteret adfærdsændring: Fokusforskydning Forskningsleder Karsten Vrangbæk

12. Hvad er det bredere formål? Påvirke adfærd i organisationen? Værktøj for faglig og organisatorisk læring? Kontrol og styring af organisationen? Understøttevalgfrihed? (Behn 2003: to evaluate, to control, to budget, to motivate, to promote, to celebrate, to learn, to improve?) Forskningsleder Karsten Vrangbæk

13. Resultatmåling indebærer valg Politt 2011. Paper for EGPA conference, Bergen Forskningsleder Karsten Vrangbæk

14. Resultatmåling og ”det muliges kunst” De fire ”lette” måle punkter Input (ressourcer) Personale-sammenssætning (erfaring, uddannelse mv) - kan man tiltrække og fastholde personale? Aktivitet: Hvor mange, og hvilke aktiviteter. Højere eller lavere end gennemsnit? Produktivitet: Antal behandlinger per krone? Proces: Overholdes vejledninger og standarder? Er der udarbejdet lokale retningslinjer (DDKM) Bruges evidensbaserede metoder Tilpasses indsatser individuelt Forskningsleder Karsten Vrangbæk

15. De fire ”lette” måle punkter: ift forebyggelse? Særlig ekspertise ift forebyggelsesindsats? ”behandlinger” skal defineres. – fx forebyggelsessamtaler, antal indrapporteringer ”behandlinger” skal defineres, – og prissættes I det omfang de findes Forskningsleder Karsten Vrangbæk

16. Resultatmåling og ”det muliges kunst” Resultatmål 1: Antal vellykkede behandlinger? Ingen tilbagefald eller komplikationer. Brugertilfredshed. Peer review/professionelle vurderinger (journalgennemgang) Forskningsleder Karsten Vrangbæk

17. Resultatmåling og ”det muliges kunst” Resultatmål 2: Bredere vurdering af sundhedsfremmende/forebyggende effekter Udviklingen i den generelle tandsundhed i den relevante befolkningsgruppe (alle børn, udvalgte voksengrupper) Forskningsleder Karsten Vrangbæk

18. Resultatmåling og ”det muliges kunst” Resultatmål 3: Bredere vurdering af sundhedsfremmende/forebyggende effekter Tandplejens input til generel sygdomsforebyggelse (spiseforstyrrelse og rygning blandt børn/unge. Tandsygdomme blandt voksne/ældre etc) Forskningsleder Karsten Vrangbæk

19. To strategierfor perspektivering af resultater Måling af udvikling over tid (husk at korrigere for generel udvikling i tandsundhed) Sammenligning på tværs med tilsvarende kommuner/ enheder (husk at korrigere for sociodemografi og andre confoundere) Forskningsleder Karsten Vrangbæk

20. Udvikling i tandsundhed for en given befolkningsgruppe (resultatmål 2) SCOR: Resultater for børnetandpleje Der indsamles data på børnetandsundhed ved det 5, 7, 12 og 15ende år. Disse tal er på individniveau, og kan knyttes til den enkelte klinik. Der skal kontrolleres for socio-demografiske forhold og andre relevante confoundere. Mange kommuner indberetter også for andre årgange end de obligatoriske. - Indberetning sker til SST (Scor data) SCOR data skal opdateres med nye relevante sygdoms/behandlingstyper Forskningsleder Karsten Vrangbæk

21. Målinger skal afspejle målsætninger! Eksempler på kontrakter med resultatmål. – (Lyngby-Tårbæk) Forskningsleder Karsten Vrangbæk

22. Resultatmåling og ”det muliges kunst” Eksempler på kontrakter med resultatmål. – (Lyngby-Tårbæk) Forskningsleder Karsten Vrangbæk

23. Resultatmåling og ”det muliges kunst” Eksempler på kontrakter med resultatmål. – (Lyngby-Tårbæk) Forskningsleder Karsten Vrangbæk

24. Resultatmåling og ”det muliges kunst” Husk at korrigere for sociodemografi mv -> Ca44% af variation forklares af flour og mødres uddannelse! Ekstrand, KR , Christiansen, MEC , Qvist, V & Ismail, A 2009, ' Factors associated with inter-municipality differences in dental caries experience among Danish adolescents. An ecological study ' Community Dentistry and Oral Epidemiology . Forskningsleder Karsten Vrangbæk

25. Hvad med de bredere forebyggelsesmæssige indsatser? Fx: Tidligopsporingifmspiseforstyrrelse, rygning mv Positive effektervedsystematiske programmer for at øgetandsundhed for bestemtegrupper (fx. 12 årigeiLyngby-Tårbæk, ellerudsattevoksneHerlevKommune) Forskningsleder Karsten Vrangbæk

26. Resultatmål 3: ift bredere forebyggende indsats Ad hoc evalueringer af specifikke indsatser rettet mod særlige grupper Vurderinger fra andre dele af forvaltningen: Får man indrapporteringer fra tandplejen Er indrapporteringer nyttige Del af bredere kommunal strategi for folkesundhedsdata - fx via: Udvikling i kommunale sundhedsprofiler. Aktivitetsdata for tilskudsberettigede behandlinger hos private tandlæger Dansk Sundhedsinstitut. Tandstatus – tandsundhed objektivt og subjektivt vurderet. 
Resultater fra ”Tandundersøgelsen ved KRAM-undersøgelsen”. 2012. – Flere delrapporter i 2013. Forskningsleder Karsten Vrangbæk

27. En ting er resultatmål. – Men hvad ved vi om kausalitet? Resultatmål giver en indikationaf status ogudvikling Brug for mere nuanceredevurderingerafkausalitetmellemindsatser/organiseringogresultater En nyligundersøgelse (2009) viser, at kommuner med særligt god udviklingfra 1999 til 2004 kendetegnesaf 1) målstyringog 2) fokuspåforebyggelsepåindividniveau. Kommuner med dårligudviklingkendetegnesaf: ustabilitetibemanding, relativtsmåenhederogøkonomi Forskningsleder Karsten Vrangbæk

28. Opsummering ”hvilke resultatmålinger kan den kommunale tandpleje gennemføre for at dokumentere resultatet af det opsøgende, forebyggende og behandlende tandplejetilbud, der stilles til rådighed for borgerne? ” Alle resultatmålinger indebærer valg. – Start med at gennemgå design elementer. Aktivitet, målepunkter, data, kriterier, offentliggørelse, anvendelse. Resultatmåling er det muliges kunst ift data og ressourcer. – -> SCOR data er centrale for børnetandsundhed, men skal evt opdateres med nye behandlingsformer mv, - og suppleres med specifikke data for forebyggelse og opsøgende indsatser -> Data for voksen/ældretandsundhed og bredere forebyggelsesaktiviteter er mangelfulde: Ad hoc evalueringer, bredere kommunal strategi for dokumentation af forebyggelsesindsatser mv Vær forsigtig med at tilskrive kausalitet. Resultatmål giver indikationer, men ikke forklaringer (jf. KU undersøgelse). Brug resultatmåling som afsæt til at undersøge dette Forskningsleder Karsten Vrangbæk