om evaluering

1. omevaluering

2. Oversigt • Projekters væsen – projektanalyse • Evalueringsstrategi • Evalueringers indhold og metode • Evaluering som fænomen

3. Hvad koster evaluering?

4. Projekt analyse

5. Beslutninger Viden Tid Projekters væsen • Tidsbegrænsede En vej mod ukendte mål Kontekst-følsomme Skalérbare

6. Målretningsbalancen • Opdagelse • Afprøvning

7. Faseriideersudvikling • Udforskning • Hvad er det, der foregår? • Nyhedsforsøg • Virker det? • Demonstrationsforsøg • Virker det hensigtsmæssigt? • Acceptforsøg • Virker det godt nok? Skal vi indføre det? • Kvalitetssikring • Kan det gøres bedre?

8. Evaluering af implementering

9. De kinesiske æsker

10. Evalueringsspørgsmål til analyse-enheder • Beskrivende spørgsmål: Hvad, hvem • Udforskende: Hvordan • Testende: Hvis ...så...

11. Hvorfor : Anledning og formål? • Motiv-blandingen • Beslutningsstøtte • Ritual • Legitimering • Taktik • .... • NPM...

12. Evaluerings strategi: Indhold og metode

13. Projektevaluerings-strategi - evalueres efter 3 år. • Projektmodenhed: Hvor på vejen fra vugge til grav? • Projektklima: Fra håb og tro til mistro? • Extern/ intern evaluering • Evaluerbarhed & evalueringskapacitet • Fokus på beslutningsstøtte? • Forankringsstrategi og evalueringsfaser • Proces / resultatbalance • Valg af evalueringsmodel

14. Vurdering af kontekst • Hvad er kontekst? • Motiv-blandingen: ritual, taktik, legitimering • Er der et behov? • Er der en opbakning og interesse? • Hvordan påvirker kontekst udviklingen

15. Evalueringsprotokollen • Baggrund • Formål • Resultat • Evalueringsspørgsmål • Strategi • Delundersøgelser • Etik • Tidsplan • Organisation • Økonomi

16. Modeller til evaluering • Behovsevaluering • Virkningsevaluering • Procesevaluering • Effekt evaluering - • Interessent evaluering: Fourth-generation • Audits • Bruger-evaluering - empowermentevaluering - • Målbaseret evaluering, målfri evaluering -

17. Standardprojekt-evaluering • Løsning af den faglige opgave • Målgruppen • Indsatsen • Resultaterne • Løsning af driftsopgaven • Aktivitetsniveau • Økonomi • Løsning af den organisatoriske opgave • Driftsledelse • Faglig ledelse • Samspil og samarbejde • Løsning af den strategiske opgave • Placering i den store sammenhæng

18. Patton: anvendelsesorienteret evaluering • Brugerengagement • Anvendelsestænkning fra start • Anvendelse af den personlige faktor • Interessent-analyse er vigtig • Anvendelsesfokusering • Brugerinddragelse i design • Anvendelse er ikke rapportering

19. Hvad indeholder virkningsteorier? • Input og kontekst • Komponenter som er uundværlige grupper af aktiviteter • Aktiviteter som er det man gør Aktivitetsmål og aktivitetsindikatorer • Aktører som aktiviteterne omfatter • Aktørmål og aktørindikatorer • Processer Samspils- og forløbsbeskrivelser • De kortsigtede og langsigtede resultater man regner med at opnå med aktiviteterne. • Resultatmål og resultatindikatorer • Utilsigtede resultater

20. Virkningsevaluering • Teorispørgsmålene • Hvad er det, vi tror, vi gør? • Hvad tror vi, der kommer ud af det? Hvorfor? • Evalueringsspørgsmålene • Gør vi det, vi siger vi gør? • Kommer der det ud af det som vi tror?

21. Interessent- evaluering am. Guba En organisatorisk proces, der udforsker forskellige interessentgruppers opfattelse af fordele, ulemper og brændpunkter knyttet til beslutningsprocesser omkring et bestemt fænomen. Formålet er at kvalificere processen ved at stille nye spørgsmål, skaffe nye informationer, nye forståelser i samarbejde med interessenterne. GUBA: Agenter Vindere Taber Investorer/ politikere Leverandører/ henvisere Aktører/behandlere Aftagere Slutbrugere

22. Audit evaluering • Valg af analyseenhed • Valg af vurderingskriterier • Udarbejdelse af cases • Individuel bedømmelse • Auditteam vurderer • Auditteam anbefaler

23. Light-samling • Most significant change method • PDSA-cirklen • Behovsmåling • Målopnåelse • CIA-analyse

24. Valg af metodebeskrivelse • Procedurer • Guidelines • Virkningsteori √ • Standarder • Benchmarking • Akkreditering • Evidensbaserede standarder

25. Hvordan måler vi effekt? • Problemomfang- symptomer • Ændringer i problemadfærd og symptomer • Tilpasning • CBT kan ændre depressive symptomer, men ikke social fucntion • Mekanismer • Ændringer i cognitive og emotionelle færdigheder • Samspil • Ændrede samspilsformer i familien hos mennesker med skizofreni • Interventionsanvendelse • MST viser mindre forbrug af politi, socialrådgivning mv. • Livsløbsændringer • Veje ud af/ind i negative udviklingsforløb

26. Evaluerbarhed

27. God evaluering? • Besvarer stillede spørgsmål med den lovede grad af troværdighed • Bekræfter eksisterende viden - så vi bliver stærkere I troen • Afkræfter eksisterende viden - så vi bliver svagere I troen • Skaber evt. ny viden - så vi må tro noget andet • Danner udgangspunkt for dialog

28. Brændpunkter & Trends • Evidensdebatten • De konstitutive virkninger • Nytteværdien • Evalueringskapacitet: Fra projektevaluering til evalueringskultur?

29. Evaluering som fænomen

30. Hvad er evaluering og alt det andet? • Kvalitetssikring/Udvikling • Monitorering • Benchmarking • Certificering • Aktionsforskning • Praksisforsning • Real world Research • MTV- Medicinsk Teknologivurdering

31. Evaluering som fænomen • ”Evaluering simple” • som ubemærket aktivitet. • ”Evaluering light.” • Beslutningsstøtte dvs. data, vurdering, beslutning - altid bedre en ingenting. • ”Evaluering classic.” • Evaluering som eksplicit, formaliseret aktivitet. Når man skal være det bekendt. • ”Evaluering pro”. • Evaluering som forskning. Når man vil have det bedste.

32. Brændpunkterne • Motivdebatten: • Beslutningsstøtte, • ritual, legitimering, • NPM • De konstitutive virkninger: Kriterier bliver værdier • Tiden • Standardiseringer • Interessentforskydning • Forhandling af virkeligheden • Evidensdebatten

33. Insider positionen Vil evaluators relation til informanterne få informanten til at opføre sig anderledes? Vil evaluators forhåndsviden føre til misfortolkning af data eller til fejlagtige slutninger? Vil evaluators viden indebære antagelser, som gør at UFO mister vigtig viden. Vil evaluators politik,loyalitet eller skjulte dagsorden føre til misfortolkninger. Vil evaluators moralske, kulturelle, eller politiske synspunkter føre til ubevidst manipulation?