Evaluering og Effektm ling i Praksis

1. www.akf.dk Dansk Evalueringsselskabs konference 2007 Evaluering og Effektm�ling i Praksis Lars Skipper Anvendt KommunalForskning

2. www.akf.dk Dansk Evalueringsselskabs konference 2007

3. www.akf.dk Dansk Evalueringsselskabs konference 2007 Hvorfor evalueringer? THERE IS NO SHORTAGE OF POLICY PROPOSALS. THERE IS, HOWEVER, A SHORTAGE OF EMPIRICAL EVIDENCE ON THE EFFICACY OF THESE POLICIES� (James Heckman )

4. www.akf.dk Dansk Evalueringsselskabs konference 2007 Evalueringsformer Procesevaluering � blev midler allokeret til et givet projekt ogs� faktisk brugt til dette projekt? Blev de korrekte procedurer fulgt? Effektevaluering � hjalp et givet projekt, beh�rigt defineret, deltagerne? Var projektet selvfinansierende? Hjalp det eller skadede det nogen, som ikke deltog? Der vil i de n�ste timer alene blive fokuseret p� 2.

5. www.akf.dk Dansk Evalueringsselskabs konference 2007 Effekter og Effektevaluering Politikker og programmer iv�rksat for at st�tte �konomisk eller social udvikling kan have positive effekter eller ingen effekter I nogle tilf�lde kan frav�ret af positive effekter skyldes Ringe design Utilstr�kkelig finansiering I andre tilf�lde kan frav�ret af en positiv effekt skyldes at programmet alene eksisterer for at kanalisere penge fra skatteyderne over til politisk indflydelsesrige virksomheder, individer eller grupper og hvor ��konomisk udvikling� blot fungerer som d�kke.

6. www.akf.dk Dansk Evalueringsselskabs konference 2007 Effekter og Effektevaluering N�r programmer ikke producerer (tilstr�kkelige) fordele, s� kan en afd�kning af dette muligg�re at begr�nsede ressourcer f�r lov at blive anvendt p� andre, og mere fordelagtige aktiviteter eller at de bliver sent retur til de evigt plagede skatteydere N�r programmer producerer fordele, s� kan viden om dette medf�re politisk opbakning for programmets forts�ttelse eller m�ske endda ekspansion

7. www.akf.dk Dansk Evalueringsselskabs konference 2007 Effekter og Effektevaluering Evidens omkring effektiviteten af �konomiske udviklingsprogrammer og politikker kommer fra evalueringer. Disse timer vil indeholde en diskussion af udviklingen inden for evaluering og effektstudier med praktiske eksempler Den akademiske litteratur har v�ret i en voldsom udvikling i de sidste �rtier Desv�rre er praksis mange steder stadig begravet i 1970�erne

8. www.akf.dk Dansk Evalueringsselskabs konference 2007 Oversigt De forskellige �konometriske evalueringsestimatorer. Hovedpointe Valg af beh�rige estimator givet data til r�dighed, (den �konomiske) problemstilling og de institutionelle rammer omkring programmet Heterogene �treatment� effekters betydning for evalueringens design og fortolkning Implikationer af generelle ligev�gtseffekter for policy evalueringer

9. www.akf.dk Dansk Evalueringsselskabs konference 2007 To vigtige pointer Skal man altid evaluere? Ogs� sm� programmer? Tiden brugt p� at l�se litteraturen p� gode evalueringer af lignende programmer kan give en st�rre indsigt og bedre resultater end en svag evaluering baseret p� ringe data foretaget af en utilstr�kkeligt kvalificeret empiriker med upassende metoder

10. www.akf.dk Dansk Evalueringsselskabs konference 2007 To vigtige pointer Evalueringer sikrer at projektmanagere fremmer m�lene for deres �verste chefer, nemlig skatteydere og donorer, og ikke blot overf�rer ressourcer til magtfulde interessegruppe. I praksis eksisterer en masse lavkvalitets-evalueringer alene som d�kning for pr�cis s�dan en adf�rd. Vigtigt at v�re meget klar om, Hvad der udg�r en god evaluering? F� designet institutioner, der kan reducere denne str�m af vildledende �evalueringer� Evalueringer, n�r de tages seri�st, er en metode, der sikrer at projektmanagere og politiske beslutnings-tagere fremmer m�lene for deres �verste chefer, nemlig skatteydere og donorer, og ikke blot overf�rer ressourcer til magtfulde interessegruppe som program-operat�rer, politisk favoriserede virksomheder, eller sig selv. I praksis eksisterer en masse lavkvalitets-evalueringer alene som d�kning for pr�cis s�dan en adf�rd. Af netop den grund er det vigtig at v�re meget klar om, hvad der udg�r en god evaluering og f� designet institutioner, der kan reducere denne str�m af vildledende �evalueringer� Evalueringer, n�r de tages seri�st, er en metode, der sikrer at projektmanagere og politiske beslutnings-tagere fremmer m�lene for deres �verste chefer, nemlig skatteydere og donorer, og ikke blot overf�rer ressourcer til magtfulde interessegruppe som program-operat�rer, politisk favoriserede virksomheder, eller sig selv. I praksis eksisterer en masse lavkvalitets-evalueringer alene som d�kning for pr�cis s�dan en adf�rd. Af netop den grund er det vigtig at v�re meget klar om, hvad der udg�r en god evaluering og f� designet institutioner, der kan reducere denne str�m af vildledende �evalueringer�

11. www.akf.dk Dansk Evalueringsselskabs konference 2007 Programmer og Parametre Lokale �konomiske udviklingsprogrammer d�kker over en bred vifte af initiativer: Human kapital programmer Finansielle og lignende subsidier til professionelle sportsklubber Regionale udviklingsprogrammer Skattesubsidier som lokkemad til bestemte typer virksomheder OSV OSV OSV

12. www.akf.dk Dansk Evalueringsselskabs konference 2007 P�virkede enheder Direkte p�virkede enheder: �treated� Individer; nogle virksomheder; alle virksomheder i et omr�de; byer; regioner; lande. Indirekte p�virkede enheder (teoretisk guide) Konkurrenceforvridning, positive spill-overs, finansieringen.

13. www.akf.dk Dansk Evalueringsselskabs konference 2007 Notation I diskussioner af programmer er fokus ofte p� effekterne af disse som om effekterne af et program er en veldefineret enhed. Vigtig pointe i dag: Programmer har en bred vifte af effekter! I faglitteraturen taler man om heterogene effekter. Et programs betydning �ndrer sig, n�r vi erkender, at effekter kan variere over populationen af deltagere og i nogle tilf�lde endda p�virke ikke-deltagere

14. www.akf.dk Dansk Evalueringsselskabs konference 2007 Notation Lad Y ben�vne en udfaldsvariabel For hver enhed, i, forestiller vi os to verdener. En verden, hvor enhed i deltager, og en verden hvor enheden ikke deltager. I verden med deltagelse ben�vnes udfaldet Y1i I verden uden deltagelse ben�vnes udfaldet Y0i Effekten af et program for person i er givet ved Di = Y1i - Y0i Evalueringsproblemet best�r i at estimere den manglende af de to udfald. l�n, besk�ftigelse, helbred for individer; profit, antal ansatte, oms�tning for virksomheder; antal indbyggere, luftkvaliteten, �konomisk v�kst for regioner. l�n, besk�ftigelse, helbred for individer; profit, antal ansatte, oms�tning for virksomheder; antal indbyggere, luftkvaliteten, �konomisk v�kst for regioner.

15. www.akf.dk Dansk Evalueringsselskabs konference 2007 Notation Standard praksis i litteraturen er at tage gennemsnit af Di hen over forskellige politik-relevante populationer. Lad D angive deltagelse, s� Di = 1 for enheder, der deltager, og Di = 0 ellers. Oftest estimeres �Average treatment on the Treated� Estimat p� �ATET� og gennemsnitlige omk. muligg�r alt-eller-intet CBA

16. www.akf.dk Dansk Evalueringsselskabs konference 2007 Notation Alternativt kunne �Average Treatment Effect� estimeres Besvarer sp�rgsm�l omkring �universal programmer� - N�r hidtidige programmer fx g�res obligatoriske, har beslutningstagere behov for estimater p� �ATET� OG �ATE� - kan variere betragteligt!

17. www.akf.dk Dansk Evalueringsselskabs konference 2007 Notation En tredje parameter er marginale eller lokale �Average Treatment Effects�. M�ler effekten af et program blandt en gruppe p� en relevant margin. Sammenligninger af �MATE� og marginalomkostninger ved udvidelse eller begr�nsninger giver cost benefit omkring �ndringer p� marginen En �MATE� til hver margin!

18. www.akf.dk Dansk Evalueringsselskabs konference 2007 Notation Disse parametre vil nogen gange inkludere generelle ligev�gtseffekter � afh�nger af design af analysen �GE� effekter kommer fra �ndringer i adf�rden for ikke-behandlede enheder pga. programmet Kan v�re direkte � ikke-behandlede �ndrer adf�rd for at kunne f� �treatment� Kan v�re indirekte � som ved �ndringer af relative priser eller ved �displacements�

19. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori R�kke estimatorer pr�senteres Hvordan v�lger man mellem disse? De er ikke retter i en buffet! V�lg ikke fordi De har et sejt navn Er opfundet af kendte �konomer eller statistikere Er de jour estimatoren M�ske er der ikke en passende estimator givet data?

20. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Sociale Eksperimenter Mest potente v�rkt�j i evaluatorens v�rkt�jskasse L�ser problemet med at finde E(Y0| D = 0) �direkte� Kan ikke besvare alle sp�rgsm�l Randomisering kan nogen gang ikke benyttes Randomisering fanger m�ske ikke �GE� effekter Giver ikke (uden yderligere antagelser) fordelinger af effekter. Meningen med denne diskussion er ikke at give et p�skud for dem, som ikke �nsker at f� foretaget eksperimenter, fordi de foretr�kke auraen af uvidenhed/usikkerhed omkring de programmer, som de elsker (eller har �konomiske interesser i � hvilket ofte er det samme). Det er mere for at sikre, at eksperimenter ikke bliver brugt, n�r de ikke kan eller vil give et svar p� et givet sp�rgsm�l og for at sikre, at de tolkes korrekt, n�r de bruges. Randomisering: demokrati og �konomisk v�kst. Politiske faktorer (randomisering af bloktilskud) Ekstern validitet: Selvselektion af centre, der �nsker / indvilliger i at deltage! Randomiseringsbias: risikoen for at blive randomiseret ud g�r at man �ndrer adf�rd INDEN eksperimentet Meningen med denne diskussion er ikke at give et p�skud for dem, som ikke �nsker at f� foretaget eksperimenter, fordi de foretr�kke auraen af uvidenhed/usikkerhed omkring de programmer, som de elsker (eller har �konomiske interesser i � hvilket ofte er det samme). Det er mere for at sikre, at eksperimenter ikke bliver brugt, n�r de ikke kan eller vil give et svar p� et givet sp�rgsm�l og for at sikre, at de tolkes korrekt, n�r de bruges. Randomisering: demokrati og �konomisk v�kst. Politiske faktorer (randomisering af bloktilskud) Ekstern validitet: Selvselektion af centre, der �nsker / indvilliger i at deltage! Randomiseringsbias: risikoen for at blive randomiseret ud g�r at man �ndrer adf�rd INDEN eksperimentet

21. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Sociale Eksperimenter Praktiske problemer med implementeringen Ekstern validitet Randomiseringsbias (+ Hawthorne effekter) Fortolkning af resultater ved �drop outs� Hvilken behandling f�r kontrolpersonerne? Sociale Eksperimenter kr�ver ogs� antagelser! Ekstern validitet: Selvselektion af centre, der �nsker / indvilliger i at deltage! Randomiseringsbias: risikoen for at blive randomiseret ud g�r at man �ndrer adf�rd INDEN eksperimentetEkstern validitet: Selvselektion af centre, der �nsker / indvilliger i at deltage! Randomiseringsbias: risikoen for at blive randomiseret ud g�r at man �ndrer adf�rd INDEN eksperimentet

22. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Sociale Eksperimenter Varianter af randomisering ved deltagelsestidspunktet ved kvalifikationstidspunktet: �Hurtigt i gang� p� marginen: �AMU eksperimentet� Flertrinsrandomisering: burde have v�ret i �Hurtigt i gang� Randomisering af incitamenter for deltagelse Hver variant besvarer sit sp�rgsm�l; nogle metoder er m�ske politisk mere t�lelige end andre

23. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Sociale Eksperimenter Opl�gsholderen forst�r ikke, hvorfor det ikke er embedsm�ndene, der b�r argumentere for ikke at udf�re sociale eksperimenter ved alle dyre eller vigtige offentlige (med-)finansierede programmer, hvor der er behov for en evaluering og hvor det samtidigt er muligt Samfundsvidenskaberne �mangler� deres thalidomid-katastrofe Etiske betragtninger: Der er konflikter mellem de mennesker, der deltager, og etikken bag at opdrive skatter til finansiering af programmer der ikke virker!Etiske betragtninger: Der er konflikter mellem de mennesker, der deltager, og etikken bag at opdrive skatter til finansiering af programmer der ikke virker!

24. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� observerbare karakteristika Eksperimenter l�ser evalueringsproblemet med det uobserverede kontrafaktum, E(Y0 | D = 1) direkte ved tvungent, og tilf�ldigt, at holde D = 1 personer, som ville have deltaget under normale omst�ndigheder, ude af behandlingen I mods�tning til dette l�ser matching eller regressioner evalueringsproblemet ved at antage, at selektionen er urelateret til det �ikke-deltagende� udfald betinget p� et s�t af observerbare variable, X Motivation: RA er ofte umuligt at implementere enten pga. omkostninger eller pga. politiske eller sociale hensyn Andre �treatments� er umulige at evaluere med randomisering: sprog, valg af bop�l (og dog), familie-indkomst, b�rn� Matching virker ikke som RA p� nogen anden m�de end enhver anden ikke-eksperimentel evalueringsmetode. Alle s�danne metoder er �som� RA N�R antagelserne, der retf�rdigg�r dem, holder i dataMotivation: RA er ofte umuligt at implementere enten pga. omkostninger eller pga. politiske eller sociale hensyn Andre �treatments� er umulige at evaluere med randomisering: sprog, valg af bop�l (og dog), familie-indkomst, b�rn� Matching virker ikke som RA p� nogen anden m�de end enhver anden ikke-eksperimentel evalueringsmetode. Alle s�danne metoder er �som� RA N�R antagelserne, der retf�rdigg�r dem, holder i data

25. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� observerbare karakteristika Betinget uafh�ngighed siger blot, at deltagelses-beslutningen bliver tilf�ldig betinget p� et s�t af observerbare variable. Betinget uafh�ngighed er opfyldt, hvis alle variable, der b�de p�virker beslutningen om deltagelse, D, og fremtidige udfald, Y, observeres Dette er potentielt en meget streng antagelse! Kan kun testes ved at udf�re eksperimenter

26. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� observerbare karakteristika Bem�rk, at betinget uafh�ngighed kan holde for en gruppe variable men ikke for en anden Men valget af X er ikke arbitr�rt! Teori og institutionel viden kan guide os i valget af variable Matching er KLART at foretr�kke fra OLS Fri af (altid forkert specificerede) funktionelle former, inkl. homogen effekt Illustrerer �common support� problemet Hvis betinget uafh�ngighed holder, men ikke linearitet, s� er matching konsistent, mens regression ikke er det. Simpelt: Matching g�r det �benbart, om kompatible ikke-deltagende enheder eksisterer for hver af de deltagende enheder. P� den m�de hj�lper matching til ikke at identificere effekter alene ud fra projektioner ud i omr�der, hvor der ikke er nogen datapunkter.Hvis betinget uafh�ngighed holder, men ikke linearitet, s� er matching konsistent, mens regression ikke er det. Simpelt: Matching g�r det �benbart, om kompatible ikke-deltagende enheder eksisterer for hver af de deltagende enheder. P� den m�de hj�lper matching til ikke at identificere effekter alene ud fra projektioner ud i omr�der, hvor der ikke er nogen datapunkter.

27. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� observerbare karakteristika

28. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� observerbare karakteristika Er dette plausibelt? Det er op til empirikeren at argumentere for dette! Baseres p� �konomisk (eller anden) teori om hvilke variable, der burde betyde noget for deltagelse og udfald Viden om institutionerne, der p�virker selektions- og udfaldsprocesserne Det til r�dighed v�rende data Den eksisterende viden i litteraturen, inklusiv sammenligninger af effekt estimater baseret p� matching og eksperimentelle estimater HUSK SUTVA som ved eksperimenter!HUSK SUTVA som ved eksperimenter!

29. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� uobserverbare karakteristika Paneldata metoder Der eksisterer en periode, t, tilbage i tiden, hvor deltagelse i periode t = 0 ikke p�virker udfaldene Stort praktisk problem: Vi er n�dt til at have adgang til data fra en periode tilstr�kkeligt langt bagud i tid, hvor beslutningen om den fremtidige deltagelse ikke p�virker adf�rden (forventning) OG vi (ikke individerne p� dette tidspunkt) skal vide, om der er deltagelse i fremtiden

30. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� uobserverbare karakteristika Paneldata metoder: Before-After Brug et tidligere udfald for den deltagende enhed som dennes egen kontrol-enhed. Holder hvis Nem at estimere Beh�ver kun data for deltagere Holder kun, hvis forventet v�rdi af potentielle udfald ikke �ndrer sig over tid. MEGET urealistisk antagelse Fx hvis virksomheder kun v�lger at deltage i et subsidie-program, n�r de har et d�rligt �r og hvis de fleste d�rlige �r efterf�lges af gode �r selv i frav�ret af subsidier, s� vil en f�r-efter sammenligning af udfaldene for deltagende virksomheder overdrive effekten af subsidierne p� virksomhedernes �performance� ved at tilskrive den normale �regression til midten� til subsidie Antager ogs�, at aggregerede �ndringer i udfaldene, fx bedre konjunkturer, ikke er muligeFx hvis virksomheder kun v�lger at deltage i et subsidie-program, n�r de har et d�rligt �r og hvis de fleste d�rlige �r efterf�lges af gode �r selv i frav�ret af subsidier, s� vil en f�r-efter sammenligning af udfaldene for deltagende virksomheder overdrive effekten af subsidierne p� virksomhedernes �performance� ved at tilskrive den normale �regression til midten� til subsidie Antager ogs�, at aggregerede �ndringer i udfaldene, fx bedre konjunkturer, ikke er mulige

31. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� uobserverbare karakteristika Paneldata metoder: Before-After Eksisterer i et hav af mere eller mindre parametriske versioner, eks. Fixed effects estimatorer og first difference Alle ude af stand til at h�ndtere �Ashenfelters Dyk� Eks: Deltagere i aktivering i f�rste uge af 1995

32. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori

33. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� uobserverbare karakteristika Paneldata metoder: Difference-in-Difference Antagelsen om at deltagere kan fungere som deres egne kontrolenheder afh�nger af tempor�r stabilitet af de potentielle udfald. Da dette sj�ldent er plausibelt, fors�ger Dif-in-Dif at �rense� for �ndringerne i det potentielle kontrol udfald over tid ved at antage at en anden gruppe eksisterer, der ikke er p�virket af deltagelsen, men er p�virket af de samme �ndringer og reagerer p� disse �ndringer p� en m�de som deltagerne ville have gjort.

34. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� uobserverbare karakteristika Paneldata metoder: Difference-in-Difference N�sten lige s� simpelt at implementere som BA estimatoren. Tager forskellen mellem den gennemsnitlige �ndring i de observerede udfald for deltagerne og �ndringen i de observerede udfald for ikke-deltagerne Centrale antagelse: udfaldene for deltagere og ikke-deltagere udvikler sig p� den samme m�de over tid Eksempel: Aktiverede i 1995 og ledige ikke-deltagere

35. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori

36. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� uobserverbare karakteristika Instrumental Variables Ogs� nogen gange ben�vnt �exclusion restriction� Intuitivt er instrumenter variable, som flytter rundt p� sandsynligheden for deltagelse, men som ikke p�virker udfaldsvariablene andet end gennem deres effekt p� deltagelse Statistisk er instrumenter variable, der er korrelerede med den endogene variabel, her deltagelsesbeslutningen D, men som ikke er korrelerede med uobserverbare variable i udfaldsligningen

37. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� uobserverbare karakteristika Instrumental Variables Tre mulige m�der at finde gode instrumenter p� Teori kombineret med smart dataindsamling: Eks. afstand til universitet Eksogen variation i administrative implementeringer: Eks. sagsbehandler attitude, variation i pasningsgaranti over kommuner Bevist konstruktion: Eks. eksperiment eller lotteri (session).

38. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Selektion p� uobserverbare karakteristika Instrumental Variables Fordele: Nem at implementere. B�de Heckman selection model og IV ligger som standard procedurer i de fleste statistikprogrammer. Fortolkningen er ofte lige til og policy-relevant. Ulempe: Mange gange sv�rt at argumentere for uafh�ngigheden af instrumentet med uobserverede led i udfaldsligningen. Litteraturen er ikke overstr�get med eksempler p� instrumenter.

39. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Regression Discontinuity Design Er estimatoren i �jeblikket i faglitteraturen Id�: Der eksisterer en gruppe af ikke-deltagere, som er tilstr�kkelig lig deltagere bortset fra (ofte) �n variabel, som reducerer deltagelsessandsynligheden deterministisk (eller �fuzzy� ) til nul Eksempel: Hvis et tr�ningsprogram kun er tilg�ngeligt for unge under 25, s� i det mindste for �ret, hvor programmet introduceres, vil der v�re ikke-deltagere p� 26, som m�ske er en god sammen-ligningsgruppe for de 25 �rige (forudseenhed?). Andet eksempel: Forbrydelse & Straf

40. www.akf.dk Dansk Evalueringsselskabs konference 2007

41. www.akf.dk Dansk Evalueringsselskabs konference 2007

42. www.akf.dk Dansk Evalueringsselskabs konference 2007 Interpretation: young criminals are either stupid (incorrect information set about punishment or simply irrational), extremely impatient (d way below 0.1), myopic, or all of the above Interpretation: young criminals are either stupid (incorrect information set about punishment or simply irrational), extremely impatient (d way below 0.1), myopic, or all of the above

43. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Generel Ligev�gtsmodeller Fire typer af modeller: Alle ovenst�ende � antager problemet v�k Multiple ligningssystemer � gammeldags og ikke klart hvordan kanalerne virker. Identifikation? �Magiske multiplikatorer�. Sj�ldent funderet i noget (hvilket selvf�lgelig g�r dem attraktive). Direkte estimation / kalibrering af strukturel generel ligev�gtsmodel Multiple ligningssystemer: sv�re at holde af, men kravet om tal kombineret med frav�ret af simple alternativer holder dem i spil. Husk Arrow og vejrudsigter under 2. verdenskrigMultiple ligningssystemer: sv�re at holde af, men kravet om tal kombineret med frav�ret af simple alternativer holder dem i spil. Husk Arrow og vejrudsigter under 2. verdenskrig

44. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Strukturel �GE�-model: SSP i Canada. SSP meget lig det danske �Ret og Pligt til l�ntilskud� for langtidsledige Stor succes i tidlige 1990�ere som eksperimentelt fors�g M�lgruppe: Langtidsledige enlige for�ldre p� kontanthj�lp Foranstaltning: Betinget p� fuldtidsbesk�ftigelse (min 30 t/u) fik man halvdelen af forskellen mellem $3,000 og l�nindkomsten pr m�ned i op til tre �r Eksempel: Mor p� kontanthj�lp f�r $ 712 pr m�ned. 30 t/u til $ 5.00 = $650. Modregnes fuldt ud I kontanthj�lpen. Men under SSP 0.5*(3,000-650) = $1,175� $712 vs. $1,825 Result: Imponerende ATET effekter p� besk�ftigelsen og ssh for kontanthj�lpsmodtagelse. Kortsigtseffekt p�14 procent points. (En af) de st�rste effekter m�lt ved eksperimentelle evalueringslitteratur Men �kun� 7 % efter 1� �r

45. www.akf.dk Dansk Evalueringsselskabs konference 2007

46. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Strukturel �GE�-model: SSP i Canada Kombination af randomisering flere steder i processen samt kon-struktionen af en �GE�-model muliggjorde �komplet� evaluering: Ingen samlet effekt p� besk�ftigelsen: Dagpengemodtagere oplevede et fald i deres besk�ftigelseschancer - B�DE ligev�gtseffekt OG en reaktion p� nye incitamenter Et fald i l�nniveauet: Man er villig til at acceptere lavere l�n som f�lge af tilskuddet MEN blandt andre l�nmodtagere steg l�nnen en lille smule. Forhandlingsposition bedre for l�nmodtagere! RESULT: CBA konklusioner vendt p� hovedet.

47. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Valg af estimator Sociale eksperimenter mest overbevisende N�r dette ikke er muligt, m� en af de andre bruges. Faglitteraturen er efterh�nden fyldt med eksempler, hvor ikke-eksperimentelle estimatorer har v�ret anvendt p� eksperimentelt data. En r�kke forskellige scenarier at v�lge imellem. Tidligere var litteraturen i vidt omfang fokuseret p� at finde den �magiske �kse� der kunne sl� panden ind p� monstret �selv-selektion� Der er ingen s�lvkugle! Som gennemg�et, s� hviler forskellige ikke-eksperimentelle evalueringsstrategier p� forskellige antagelser om karakteren af selektionsprocessen og om tilr�dighedv�rende data. N�r disse antagelser holder s� vil en given estimator producere konsistente estimater p� bestemte interesse-parametre. N�r antagelserne ikke er overholdt vil den ikke! S� i stedet for at lede efter en bestemt estimator, der virker �universelt�, s� l�gger litteraturen i dag v�gt p� sammenh�ngen /mappingen mellem institutioner og data til r�dighed i en given kontekst og valget af ikke-ekperimentel strategi. Nogen gange er data bare s� ringe, at man ikke KAN g�re noget. Der er ingen s�lvkugle! Som gennemg�et, s� hviler forskellige ikke-eksperimentelle evalueringsstrategier p� forskellige antagelser om karakteren af selektionsprocessen og om tilr�dighedv�rende data. N�r disse antagelser holder s� vil en given estimator producere konsistente estimater p� bestemte interesse-parametre. N�r antagelserne ikke er overholdt vil den ikke! S� i stedet for at lede efter en bestemt estimator, der virker �universelt�, s� l�gger litteraturen i dag v�gt p� sammenh�ngen /mappingen mellem institutioner og data til r�dighed i en given kontekst og valget af ikke-ekperimentel strategi. Nogen gange er data bare s� ringe, at man ikke KAN g�re noget.

48. www.akf.dk Dansk Evalueringsselskabs konference 2007 �konometrisk Teori Valg af estimator ��benbare� bem�rkninger Hvis man l�ner sig op ad selektion p� observerbare karakteristika, s� skal data v�re rigt! Sammenlign individer fra samme arbejdsmarked, brug samme m�l for udfaldsvariablen, brug information om dynamikken i selektionsprocessen. F� forst�else for institutionerne bag selektionen! Hvis man bruger IV, s� skal man have et instrument! Hvis man bruger paneldata metoder, s� skal man have data i et panel!

49. www.akf.dk Dansk Evalueringsselskabs konference 2007 Alternativer til �konometrisk Evaluering Deltageres selvevaluering eller oplevet udbytte sp�rge / interviewe deltagere eller sagsbehandlere direkte om, efter endt deltagelse, programmet havde nogle gavnlige effekter og i bekr�ftende fald, hvor store disse s� var? Dette ville spare folk med ansvar for evalueringerne masser af tid, penge, og indsats, hvis deltagere eller deres sagsbehandlere p� trov�rdig vis kunne evaluere et program direkte.

50. www.akf.dk Dansk Evalueringsselskabs konference 2007 Alternativer til �konometrisk Evaluering Deltageres selvevaluering eller oplevet udbytte Ringe evidens for at dette. For at v�re valide og brugbare, m� respondenterne v�re i stand til korrekt at estimere kontrafaktum � hvordan det ville v�re g�et hvis ikke de havde deltaget i interventionen � og s� foretage en meningsfyldt sammenligning med det faktiske udfald. kognitive begr�nsninger af betydning (de fleste af os er d�rlige �intuitive statistikere�) problemer af survey-m�ssig karakter (den adspurgte �nsker m�ske ikke at forn�rme udsp�rgeren ved at tilkendegive, at indsatsen var virkningsl�s, eller m�ske oven i k�bet indr�mme over for sig selv, at deltagelsen havde v�ret spild af tid og ressourcer?).

51. www.akf.dk Dansk Evalueringsselskabs konference 2007 Alternativer til �konometrisk Evaluering Deltageres selvevaluering eller oplevet udbytte Dette er selvf�lgelig ikke det samme, som at der ikke kan udtr�kkes nyttig information fra interviews med involverede akt�rer �rsager til deltagelsen forventningerne til denne mulige bureaukratiske og administrative hindringer, der besv�rligg�r deltagelsen etc.

52. www.akf.dk Dansk Evalueringsselskabs konference 2007 Alternativer til �konometrisk Evaluering Performance Standarder �Reinventing Government� potentielt billigt v�rkt�j til effekt analyser. Best�r typisk af en r�kke kvantitative m�l for en indsats� output (antallet af rettidigt servicerede klienter, fx) eller udfald (hvor mange af de servicerede klienter havde fundet job seks m�neder efter endt deltagelse). Disse m�l er som regel en funktion af Y1 Udbredt i offentlige administration.

53. www.akf.dk Dansk Evalueringsselskabs konference 2007 Alternativer til �konometrisk Evaluering Performance Standarder Nogle gange fort�ller de alt, hvad man har behov for at vide: Er det opgaven at evaluere om en given socialr�dgiverafdeling har kontakt med sine klienter minimum �n gang pr tredje m�ned, s� vil et m�l, der angiver andelen af klienterne, som kontaktes minimum hver tredje m�ned give (hvis ikke andet s�) et sk�n p� om forskrifter overholdes. Hvis sagsbehandleres indsats alene best�r af et output (en samtale) og ikke en effekt, s� er m�l for output et tilstr�kkeligt styringsredskab. Selvf�lgelig vil samtalen have adf�rdsm�ssige effekter p� klienten, som interesserer forskere og andre. S�danne effekter fanges ingenlunde af performance standarder baseret p� hverken outcome eller output.

54. www.akf.dk Dansk Evalueringsselskabs konference 2007 Hvorn�r skal man ikke evaluere? Evalueringer tager tid og ressourcer. Evalueringer, lige som de programmer der evalueres, b�r derfor kun foretages, n�r fordelen ved s�danne har mulighed for at overstige deres omkostninger! I en r�kke situationer vil en evaluering ikke kunne passere et standard �cost-benefit� test, hvorfor pengene, der ville have v�ret brugt p� en evaluering heller b�r bruges p� andre ting.

55. www.akf.dk Dansk Evalueringsselskabs konference 2007 Hvorn�r skal man ikke evaluere? Hvis midlerne er sm� og andre basale administrative funktioner ikke er p� plads F�r man foretager en evaluering b�r program administratorer have en klar id� om hvem der deltager, om deltagerne over-hovedet har ret til dette? Og hvis deltagelse er frivilligt, hvordan ser deltagerne s� ud ift. mulige deltagere? Man b�r ogs� have et klart billede af hvor mange penge, der bruges p� programmet, hvad disse bliver brugt p�, og hvilke enheder, som pengene bliver brugt p�. Indsamling og unders�gelse af disse informationer b�r v�re et krav til program managere, som optr�der som bestyrere af skatteydernes midler Disse pligter b�r v�re overholdt inden man kaster sig ud i en evaluering; Et program der er ikke er under kontrol mht. hvem der deltager og hvad det koster har ikke mange chancer for at producere positive effekter

56. www.akf.dk Dansk Evalueringsselskabs konference 2007 Hvorn�r skal man ikke evaluere? Hvis effekten af et program er kendt p� forh�nd: M�ske eksisterer der allerede masser af evalueringer af h�j kvalitet af en bestemt type program? Hvis programmet alene eksisterer for at transferere penge til politisk begunstigede individer, firmaer eller interessegrupper og hvor ��konomisk udvikling� bare bruges til at retf�rdigg�re dette over for en ligegyldig offentlighed og ubehj�lpsomme medier Hvis antallet af deltagere er utilstr�kkeligt til statistisk inferens: Et program, der servicerer 20 skoler, fem virksomheder eller 35 ledige kan ikke effektevalueres Subsidier eller andre former for begunstigelser til bestemte virksomheder, man gerne vil have placerer sig i ens n�romr�de er et eksempel p� det sidste. Set fra et nationalt synspunkt kan s�danne programmer allerh�jest have nul effekt, og i det omfang at det medvirker til geografisk fejlallokering af produktion kan det ligefremt v�re skadeligt.Subsidier eller andre former for begunstigelser til bestemte virksomheder, man gerne vil have placerer sig i ens n�romr�de er et eksempel p� det sidste. Set fra et nationalt synspunkt kan s�danne programmer allerh�jest have nul effekt, og i det omfang at det medvirker til geografisk fejlallokering af produktion kan det ligefremt v�re skadeligt.

57. www.akf.dk Dansk Evalueringsselskabs konference 2007 Hvorn�r skal man ikke evaluere? Hvis data ikke er til stede eller er dyrt at indsamle: Mange ret dyre evalueringer af st�rre offentlige programmer hviler ofte p� survey data med chokerende lave svarprocenter Der eksisterer en nedre gr�nse for datakvalitet, hvorunder evalueringer bliver meningsl�se! Hvis man ikke er i besiddelse af tilstr�kkelig ekspertise til at foretage evalueringerne Is�r ikke, hvis der allerede eksisterer studier p� omr�det Svagt udf�rte evalueringer er ikke pengene (ingen penge) v�rd �Quick & Dirty� er �GIGO�

58. www.akf.dk Dansk Evalueringsselskabs konference 2007 Valg af Evaluator Ikke beskyttet titel! Eksperimenter er sv�rere end man tror. Hvis man p�t�nker at udf�re et og man ikke har pr�vet det f�r, s� f� fat i et firma, der ved hvordan det skal g�res. Forskellige evalueringseksperter har forskellige ekspertiser � skal matches med ens behov. Nogle s�kaldte eksperter vil gladelig tage imod pengene fra en vunden opgave og aflevere noget � rent ud sagt � makv�rk. Se Gregory (2000) i Evaluation. Nogen gange kan man f� foretaget den statistiske analyse af en evaluering n�sten gratis, hvis bare man stiller interessant data til r�dighed for forskere og garanterer, at disse m� trykkes i videnskabelige tidsskrifter Professionelle firmaer er selvf�lgelig dyrest men har ogs� masser af erfaring og leverer et velpoleret produkt til tiden og til lovede pris. Akademikere er ofte billigere, har ofte bedre kendskab til statistik og �konometri men har en lavere sandsynlighed for at aflevere produktet til tiden og det endelige produkt er ogs� mindre velpudset.Professionelle firmaer er selvf�lgelig dyrest men har ogs� masser af erfaring og leverer et velpoleret produkt til tiden og til lovede pris. Akademikere er ofte billigere, har ofte bedre kendskab til statistik og �konometri men har en lavere sandsynlighed for at aflevere produktet til tiden og det endelige produkt er ogs� mindre velpudset.

59. www.akf.dk Dansk Evalueringsselskabs konference 2007 Valg af Evaluator Evalueringer b�r ogs� evalueres. M�ske sidder man ikke inhouse med den tilstr�kkelige viden til at vurdere kvaliteten af en rapport. Ekstern kvalitetskontrol kan v�re en stor gevinst for evalueringens kvalitet og trov�rdighed.

60. www.akf.dk Dansk Evalueringsselskabs konference 2007 Konklusion RTFM: L�s litteraturen. Store fremskridt i de sidste to �rtier. B�de mht. metode og praksis; dataindsamling, v�rdien af administrative data og smarte identifikationsstrategier Der er ingen �magic bullet�: Der eksisterer ingen �konometrisk eller statistisk strategi/estimator, der altid vil give konsistente estimater for vilk�rlige kombinationer af data, institutionelle rammer og parametre, man m�tte v�re interesseret i. Heterogene effekter betyder noget! De p�virker valget og fortolkningen af ens empiriske estimater. Tilstedev�relsen af disse foruds�tter grundige overvejelser omkring den pr�cise parameter, som vil kunne svare p� et specifikt sp�rgsm�l. Ligev�gtseffekter betyder noget. Anbefalinger, der ikke tager h�jde for s�danne risikerer at g�re mere skade end gavn. Ikke alle programmer kan med fordel evalueres. Overvej dette og foretag en uformel cost-benefit analyse inden selve evalueringen p�begyndes