A monitoring szerepe a kutatásértékelésben

1. A monitoring szerepe a kutatásértékelésben Dr. Lippényi Tivadar MTA székház 2007. április 25.

2. Tudomány-, technológia- és innováció-politikai stratégia • A tudományos kutatás eredményei befogadásának és hasznosításának kultúrája. • Minőség-, teljesítmény- és hasznosítás-vezérelt, hatékony nemzeti innovációs rendszer. • Megbecsült, a tudásalapú gazdaság és társadalom igényeinek megfelelő kreatív, innovatív munkaerő. • A tudás létrehozását és hasznosítását ösztönző gazdasági és jogi környezet. • A globális piacon versenyképes hazai vállalkozások, termékek és szolgáltatások.

3. A TTI stratégia végrehajtása Alapelv meghatározása, ellenőrzése Policy Teljesítmény szerződés Folyamatok, eredmények célok Program Munkaterv, stratégia tervezése, frissítése Játékszabályok fellálítása Projektek szerzése Projekt-monitoring,menedzsment ÉRTÉKELÉS Folyamatokeredmények Teljesítmény szerződés célok Projekt Munkaterv, stratégia tervezése Projekt végrehajtás Forrás: Technopolis Ltd.

4. Értékelés, monitoring és ellenőrzés Input Output Eredmények Hatások Megvalósítás Hatások Ellenőrzés Törvényesség és szabályosság Monitoring Management Értékelés Döntés Forrás: Európai Bizottság

5. Fogalmak Értékelés:közpénzek eredményes felhasználásának vizsgálata érdekében, a közfinanszírozású kutatás-fejlesztési és technológiai innovációs programok eredményeinek, a program végrehajtása során a rendelkezésre álló erőforrásokkal és az eredeti célokkal való összhangban állását, az eredmények gazdasági- társadalmi hasznosítását és a hasznosítás hatásait elemző tevékenység Ellenőrzés: A támogatási programoknál a közpénzek felhasználásának adminisztratív, jogi, pénzügyi szabályszerűségeit vizsgáló tevékenység. Monitoring: A program végrehajtója által működtetett, a támogatott program teljes futamideje alatt a célok elérését, a program időbeli szakmai, pénzügyi előrehaladását és megvalósulását folyamatosan vizsgáló adatgyűjtő tevékenység. Eredményeit felhasználja az ellenőrzés és az értékelés is.

6. A monitoring helye a program ciklusban Szükségletek, igények feltárása Célok kialakítása Előzetes értékelés Program megtervezése, kidolgozása Visszacsatolás Utóértékelés Szakmai, pénzügyi ellenőrzés MONITORING Program lezárása Finanszírozás Közbülső értékelés Megvalósítás

7. Értékelés Az értékelés átfogó és hosszabb távúkérdésekkel foglalkozik: • Az intervenció megfelelő volt / más eszköz hatékonyabb lett volna a probléma kezelésére? • Milyen hatásokkal rendelkezik a program az érintettek és a társadalom vonatkozásában? • A hatások hosszú távon fenntarthatók? Tanuláson, új infrastruktúra vagy viselkedésmód kialakításán alapulnak? • Mi történt volna, ha nem kerül sor az intervencióra? (Milyen hozzáadott értékkel rendelkezik a program?) • Vannak nem várt következményei az intervenciónak? Negatívak vagy pozitívak? • Tapasztalatok a jelen és jövőbeli beavatkozások fejlesztéséhez?

8. A monitoring szükségessége I. • Átláthatóság, elszámolási kötelezettség – visszacsatolás az adófizetők felé • Policy irányvonalak feltérképezése és kialakítása • A policy megvalósítás fejlesztése • A projekt kockázat kezelése minőségi kontrollon és a folyamatok kodifikációján keresztül: • Megteremti a lehetőséget az alulteljesítő projektek bezárására, • a projekt élettartam alatti szükséges módosításokra, • … az előremutató projektek felkészítésére és fejlesztésére • A policy megerősítése, a program célok fejlesztése és a projekt kultúra változásának elősegítése

9. A monitoring szükségessége II. • Az eredmények megismertetése, bemutatása • Iránymutatás a folyamatoknak(A megfelelő szlogen az ipari szférából: „What you measure is what you get”) • Lehetőség amentoringtevékenységre és az egyes projektek eltérő kezelésére • Management információs rendszer - mind a program management mind a policy szint számára

10. Hatékony monitoring rendszer kialakítása, implementálása • Programtervezéskor a monitoring és reporting aspektusok meghatározása • Megtervezett, megfelelően kialakított monitoring rendszer • általában – adatgyűjtésen alapuló monitoring • egyes programok esetében kiegészítő tevékenység is szükséges • Eredményes mentoring tevékenység - program management technikai és projekt menedzseri képzettséggel • Hatékony program monitoring és reportingfolyamattal erősíthető: • a pályázók és a program menedzserek közti kapcsolat, • a program és policy szint közötti kommunikáció.

11. A stratégia végrehajtása Alapelv meghatározása, ellenőrzése Policy Teljesítmény szerződés Folyamatok, eredmények célok Program Munkaterv, stratégia tervezése, frissítése Játékszabályok fellálítása Projektek szerzése Projekt-monitoring,menedzsment ÉRTÉKELÉS Folyamatokeredmények Teljesítmény szerződés célok Projekt Munkaterv, stratégia tervezése Projekt végrehajtás Forrás: Technopolis Ltd.

12. Alapelv meghatározása, ellenőrzése • Szükségletek meghatározása és elemzése • A program várt eredményeinek meghatározása • Javaslatok a program célokra • Egyeztetés a policy portfolióval • Stratégia felvázolása • Források • Tevékenységek • Logikai levezetés a programtól az eredményekig • Érintettek bevonása • Teljesítmény szerződés a program managerekkel • A beszámolási és értékelési stratégia meghatározása

13. Munkaterv és stratégia tervezés • Célok egyeztetése és finomítása • Stratégia részletes kialakítása • Források • Gyakorlati munkaterv • Projekten kívüli tevékenységek • Program monitoring eszközök megtervezése • Mérföldkövek • Teljesítmény indikátorok • Az eredmények beszámoltatása

14. „Játékszabályok” felállításaProjekt szerzés „Játékszabályok” felállítása • Pénzügyi és adminisztratív szabályok felállítása • A pályázói kör meghatározása • Minta szerződések kialakítása, IPR szabályozás,.. Projekt szerzés • A program kommunikálása a lehetséges pályázói kör felé • Magas minőségű pályaművek megszerzése • Kiválasztás, támogatási döntés meghozatala • Teljesítmény szerződések megkötése a projekt vezetőkkel

15. Monitoring és beszámoltatás • Monitoring eszköztár megválasztása és implementálása: • Mérföldkövek • Teljesítmény indikátorok • Az eredmények beszámoltatása • Minőségi kontroll • A projekt monitoring eredmények összesítése program monitoring szintjén

16. Indikátorok I. a.) input indikátorok: a program megvalósításához szükséges pénzügyi, emberi és egyéb erőforrásokra vonatkoznak. b.) output indikátorok: a program megvalósításának folyamatát jelző mutatószámok, illetve szakma specifikus eredménymutatók, amelyek a támogatott program céljainak megvalósulását írják le. c.) eredmény indikátorok:a program megvalósított céljainak közvetlen eredményeit leíró mutatószámok, illetve szakma specifikus eredménymutatók d.) hatás indikátorok:a megvalósult programnak a gazdasági- társadalmi környezetére gyakorolt, hosszabb távú hatásait számba vevő mutatószámok.

17. Indikátorok II. • Az ideális indikátorokkal szembeni elvárások lehetséges fajtái: • SMART RACER • Specifikus (Specific) Releváns (Relevant) • Mérhető (Measurable) Elfogadott (Accepted) • Elérhető (Available) Hiteles (Credible) • Releváns (Relevant) Egyszerű (Easy) • Aktuális, időhöz kötött (Timely) Meghatározó (Robust)

18. Indikátorok III. Az indikátorok megjelenése: • Pályázati Stratégia – a program alapvetőindikátorainak meghatározása • Pályázati felhívás – részletesebb indikátor lista az útmutatóban • Szerződések– indikátorok az egész támogatási időszakra vonatkozóan, konkrét célértékekkel évenkénti bontásban • Beszámolók / éves beszámolók–előre jelzett indikátorok összevetve az elért eredményekkel

19. Projekt és program monitoring Illeszkedés a program céljaihoz Külső érdek Inputok Aprojekt fejlődése Projekt eredmények Program szint Inputok Aprojekt fejlődése Projekt eredmények Projekt szint Forrás: Technopolis Ltd.

20. Köszönöm figyelmüket! Köszönet az NKTH által megbízott nemzetközi monitoring panel szakértőinek: Gilbert Fayl, Niels Busch, Erik Arnold, Ken Guy