1 / 26

EVALUATION FOR LEARNING: Sekilas Tentang Evaluasi Dampak

EVALUATION FOR LEARNING: Sekilas Tentang Evaluasi Dampak. Ayodha Pramudita. Apa itu evaluasi ?. Aktivitas yang sistematis dan kontinyu untuk menilai konseptualisasi , desain , implementasi , dan manfaat kebijakan /program. Mengapa Mengevaluasi ?.

rhea
Télécharger la présentation

EVALUATION FOR LEARNING: Sekilas Tentang Evaluasi Dampak

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. EVALUATION FOR LEARNING:SekilasTentangEvaluasiDampak AyodhaPramudita

  2. Apaituevaluasi? Aktivitas yang sistematisdankontinyuuntukmenilaikonseptualisasi, desain, implementasi, danmanfaatkebijakan/program

  3. MengapaMengevaluasi? Evaluasimemberikaninformasimengenaikualitassuatu program. Tanpaitu, kitatidaktahuapakah program tersebutefektif, atauapakahdana yang dikucurkanuntuk program tersebutsudahefisien? Evaluasikebijakanpadadasarnyaharusbisamenjelaskanseberapajauhkebijakandanimplementasinyatelahdapatmendekatitujuan. Karenaituevaluasidilakukandalamrangkamengukurefeksuatu program dalammencapaitujuan yang ditetapkan. Yang terpenting, suatuevaluasihendaknyamampumemberikaninformasikritis yang bergunasebagaifeedback dalammelakukanperubahankebijakankedepan: bisajadisuatukebijakandipertahankan, dikembangkan, ataudihentikan.

  4. Mengapaevaluasipenting? Evaluasimengawalsuatu program agar tetapberadapada ‘rel’-nyaevaluasiimplementasi (formative evaluation). Evaluasiimplementasipentingkarenainimembantumengidentifikasimasalahdalamimplementasisuatu program sebelum program tersebutberakhir. Jadi, perubahanterhadap program masihmemilikidampak. Tell you whether the Program or Intervention worked! Yup, Setelahmenelaahproses ‘kelahiran, kehidupan, dankematian’ kebijakan, kompleksitas lain darisikluskebijakanadalahpersoalan “apakahkebijakanituadapengaruhnya?” Persoalanpengaruhataudampaksuatukebijakanmerupakanpersoalan yang penting. Makanyaperluadaevaluasidampakkebijakan (summative evaluation).

  5. Formative evaluation: Fokuspadapenilaiankualitas program danimplementasi When – selamatahappelaksanaan Why – member informasitentangproses Result – penyesuaianimplementasi Major focus – perbaikan

  6. Summative evaluation: Fokuspadaefektifitas program yang telahdilaksanakan When – saatakhir program Why – menentukanefek / dampak Result – informasitentangtingkatefektifitas Major focus – keberlanjutan program: jalanterus, terustapidiperbaiki, ataudihentikan Ini yang biasanyadisebutdenganevaluasidampakkebijakan

  7. So, what’s impact evaluation? • Dampakadalahgambarannilaisuatu program terhadaporangdanmasyarakat. Biasanya, dampakmengacupadamanfaatjangkapanjangterhadapmasyarakat. Misalnya, peningkatanpengetahuan, efisiensiproduksi, peningkatanlingkunganhidup, keuntunganfinansial, dll. • Evaluasidampak: membahasefekdarisebuahkebijakansecarakeseluruhanatauprosespengimplementasiannya ( Wayne Parsons, 2005). • Studiinimelihatpadaaspekdampak (outcome) tertentudarisebuahproduk (output) kebijakan. Produk/hasilkebijakan (policy output) tentusajaberbedadengandampakkebijakan (policy impact). Output kebijakanadalahprodukdanimplementasikebijakan. Sedangkandampak (outcome/impact) darisebuahkebijakanmerupakanefekkebijakandalamkonteks yang sesungguhnya. • E.g.: peningkatanmutupelayananpendidikandisekolahmerupakanefekdarikebijakanpendidikan yang dilakukanpemerintah.

  8. Mengapaevaluasidampakpenting? • Pengetahuanmengenaidampakbergunauntukmenilaiapakahsuatuproseskebijakanbisabermanfaat, memecahkanmasalahataukahmalahmemperburukmasalah? Karenaitu, untukmengetahuinyakitaperlumelakukanevaluasidampakkebijakan.

  9. Pendekatandan model evaluasikebijakan • Adabanyakpendekatandan model evaluasikebijakandengankarakter yang beda-beda. • Pilihanterhadapmetodologidanpendekatanevaluasitergantungdaribeberapafaktor, misalnyafokusdantujuanevaluasi, waktuevaluasi, atautingkatindependensipenelitian. • Biargampang, Owen dan Rogers (1999) memberikansebuahklasifikasi yang cukuputuhterkaitevaluasikebijakan. Klasifikasitersebutterdiridari lima bentuk yang dibedakanberdasarkanpendekatannya (proaktif, klarifikatif, interaktif, monitoring, ataudampak) dantujuanmasing-masingpendekatantersebut. (Utktabelnya lihatdi word document ya…)

  10. Lanjutan... • Pembahasan kali inifokuspadaevaluasidampak, karenaitukitamenggunakantipologi no 5 dariklasifikasi Owen dan Rogers. Penelitiantentangdampakmemilikiorientasipadajustifikasiataupunakuntabilitaskebijakan. Evaluasidampakkebijakandilakukanpada program yang sudahberlangsung. • Pendekatankunciuntukmengevaluasiadalahobjective based denganfokuspadaprocess-outcomes studies. • Pendekatanuntukmengevaluasidampaksangatmembutuhkan data yang observatif. Terutamauntukmemahamikonteks yang memengaruhidampakkebijakanbisadilakukanmelaluimetodeeksplorasidenganbukti-buktikualitatif, meskipuntidakbisamenafikan data kuantitatif.

  11. DesainStudiEvaluasiKebijakan • Setelahpahamtentangberbagaimacampendekatandalamstudievaluasi, dankitamemilihform 5, makapendekatanevaluasitersebutperludijabarkanlagikedalamsebuahbentukdesainpenelitian. • Adabeberapa model yang bisadigunakansebagaidesainevaluasikebijakan. Misalnya, objective approach (Tyler), goal free (Schriven), CIPP (Stufflebeam), hierarchy of evaluation (Kirkpatrick), Naturalistic (Guba), dan lain-lain. • Kali inikitahanyaakanmembahastentangevaluasikebijakan yang menggunakan model Context, Input, Process, Product (CIPP) dariStufflebeam. Gambarandesainpenelitian CIPP sepertiberikutini:

  12. Model CIPP

  13. Uraianterhadapempataspekpenilaian (CIPP) tersebut: 1. Context Meliputipenggambaranlatarbelakang program yang dievaluasi, memberikanperkiraankebutuhandantujuan program, menentukansasaran program, danmenentukansejauhmanatawaraninicukupresponsifterhadapkebutuhan yang sudahdiidentifikasi (Sarah McCann). Penilaiankonteksdilakukanuntukmenjawabpertanyaan “Apakahtujuan yang ingindicapai, yang telahdirumuskandalam program benar-benardibutuhkanolehmasyarakat?”

  14. 2. Input Meliputikegiatanpendeskripsianmasukandansumberdaya program, membandingkan program yang akandilakukandengan program lain, perkiraanuntung/rugi, danmelihatalternatifprosedurdanstrategiapa yang perludisarankandandipertimbangkan (Guba & Stufflebeam, 1970). Singkatnya, input merupakan model yang digunakanuntukmenentukanbagaimanacara agar penggunaansumberdaya yang adabisamencapaitujuansertasecaraesensialmemberikaninformasitentangapakahperlumencaribantuandaripihak lain atautidak. Aspekinputjugamembantumenentukanprosedurdandesainuntukmengimplementasikan program.

  15. 3. Process Melihatpadakegagalan-kegagalanselamaimplementasi, bertindakuntukmemperbaikikualitasprosesdari program yang berjalan, sertamemberikaninformasisebagaialatuntukmenilaiapakahsebuahproyekrelatifsukses/gagal. 4. Product Meliputipenentuandanpenilaiandampakumumdankhusussuatu program, mengukurdampak yang terantisipasi, mengidentifikasidampak yang takterantisipasi, memperkirakankebaikan program, sertamengukurefektivitas program. Singkatnya, evaluasiprodukdidesainuntukmengukurdanmenginterpretasikanpencapaian.

  16. Untuklebihmudahnya, inisalahsatucontohtabelspesifikasi data yang digaliuntukmengevaluasi program denganmenggunakan CIPP: (Tapilihat word document lagiya…) Nah, tadicumasalahsatucontoh yang sangatsederhanapenggunaan model CIPP dalamevaluasikebijakan. Model CIPP sendirisebenarnyamemilikipotensi yang jauhlebihkompleksuntukdigunakansebagaialatevaluasikebijakan.

  17. KelebihandanKelemahan Model CIPP Sepertilayaknyasuatupendekatandalamilmu social, CIPP memilikibeberapakelebihandankelemahan. 1. Keunggulan model CIPP: CIPP memilikipendekatan yang holistikdalamevaluasi, bertujuanmemberikangambaran yang sangat detail danluasterhadapsuatuproyek, mulaidarikonteksnyahinggasaatprosesimplementasi. CIPP memilikipotensiuntukbergerakdiwilayahevaluasiformativedansummative. Sehinggasamabaiknyadalammembantumelakukanperbaikanselama program berjalan, maupunmemberikaninformasi final.

  18. Lanjut…. 2. Kelemahan model CIPP: Terlalumementingkanbagaimanaprosesseharusnyadaripadakenyataandilapangan Kesannyaterlalutop down dengansifatmanajerialdalampendekatannya Cenderungfokuspadarational managementketimbangmengakuikompleksitasrealitasempiris.

  19. KompleksitasEvaluasi Adabanyakproblematikaseputarevaluasidampakkebijakan. Mulaidari level teoritikhinggake level instrumentasidanpelaksanaanevaluasi. Pentinguntukdipahamibahwameskipunlahirdariimplementasiprodukkebijakan (output) yang sama, dampakataupunpengaruh yang dihasilkanolehkebijakanbisaberbeda-beda. Hal inidikarenakanefekintervensiataupunpengaruhsuatukebijakansangatdipengaruhiolehkontekstertentu. Implementasiprodukkebijakanmengalamiprosesaksi-reaksidanterikatolehkontekstertentusebelumpadaakhirnyamenghasilkandampakdarikebijakanitusendiri. Hasilevaluasi “secaratradisional” akanmemberikanfeedback untukmembantumelakukanperubahankebijakankedepan. Meskidemikian, proseskebijakansendiribukansemata-matamesinrasional. Tidakadacatatanmeyakinkanuntukmenjelaskantentangevaluasisebagaimesinperubahankebijakan.

  20. Next Kompleksitas… Terkaitevaluasisebagaialatpengukurefeksuatu program dalammencapaitujuan yang ditetapkan, akanselaluterdapat problem identifikasitujuankebijakan. Seringkaliterdapat program yang memilikitujuanterlaluluassehinggaterasatakmungkintercapai, ataukebijakan yang tidakmemilikitujuanjelasataukabur. Bisajugadalamkebijakanadabanyaktujuan formal, tetapitujuan yang sesungguhnyatidakdapatdiketahui. Hal initerjadikarenakebijakanmerupakanprodukpolitik yang mengakomodasikanberanekaragamkepentingan. Olehkarenaitupentingbagi evaluator untukmenemukantujuan yang tersembunyidibaliktujuan yang nampak.

  21. MasihKompleksitas Berlaku pula duarumusanhukum James Q. Wilson tentangvariasidalamanalisisterhadapkebijakan. Hukumpertamamenyatakanbahwajikarisetdilakukanolehpihak yang mengimplementasikankebijakan (ataukawan-kawannya) makarisetituakanmemperlihatkanbahwakebijakansudahdijalankandenganhasilbaik. Hukumkeduamenyatakanjikarisetdilakukanolehanalisindependenmakarisetituakanmengungkapkanefeknegatif.

  22. Persoalanevaluasilebihdarisekedarpermasalahanfaktadanobyektifitasmelaluiangka. Apabilaterjadikuantifikasiberlebihanatasevaluasikebijakanhanyaakanberdampakpadalegitimasikebijakan, bukanmenyediakanpenilaian yang memuaskantentangapakahsebuahkebijakanatau program bekerjabaikdanmenghasilkanefek (Wayne Parsons, 1999). Evaluasijugamerupakanpersoalannilaiataucarapandangterhadappermasalahan, olehkarenaitumemilikidimensipolitis. Sifatpolitis yang dimilikievaluasidampakkebijakan/program membuatbentukevaluasi yang lebih ‘kualitatif’ (observasidanbekerjadenganorangdanproblemnya) menjadidiperlukanuntukmengimbangiefekdistorsidandehumanisasidarifaktadanangka yang kelihatannyaobyektif (Lincoln & Guba, 1985). Persoalanketikadilapangan: menembusbirokratisisme, menerobospenghalangterhadapisu-isu sensitive (biasanyaterkaitmasalahuang).

  23. Masihbingungkalauinginmengevaluasi? Don’t worry, iniadabeberapapanduan yang cukupoke. Satudari Christine Andrews Paulsen, Ph.D. & Don Dailey, Ph.D. (2002), satunya GKEP 1997:

  24. Diambildari: GKEP. 1997. A Basic Guide to Program Evaluation for Arts, Culture, and Health & Human Services Organizations

  25. At the End… “History says, Don't hope On this side of the grave But then once in a lifetime The longed- for tidal wave Of justice can rise up Then hope and history rhyme." --Seamus Heaney

More Related