Konference Science4Society

1. Interní hodnocení výzkumu a doktorských studijních programů na Masarykově univerzitě 2022

2. Intro „There is a mental-health crisis in science — at all career stages and across the world… Established senior researchers face immense pressure to win grants, publish in high-profile journals and maintain their reputations in highly competitive fields… Researchers are much more likely than the general population to experience depression and anxiety.“ Nature, 23.5.2023 2

3. Proč jsme hodnocení zavedli ̶ Respekt k M17+ – národní hodnocení má jiné zaměření. ̶ První skutečná evaluace všech pracovišť (legitimita). ̶ Hodnocení výzkumu významně ovlivňuje a formuje výzkumnou kulturu. Přechod k demokratickému, pluralitnímu a transparentnímu systému. Hlavní cíle ̶ Expertní doporučení pro zvýšení vědecké kvality a kompetitivnosti pro fakulty a pracoviště. ̶ Informace pro nastavení strategií a řízení ve výzkumu a v přímo souvisejících oblastech. ̶ Provést hodnocení doktorských studijních programů a míry jejich propojení s výzkumem. Další cíle ̶ Identifikovat dlouhodobě úspěšná i perspektivní výzkumná témata. 3

4. Náš přístup a jeho reálné uplatnění ̶ Zodpovědné hodnocení: Motivovat a odměňovat různé znaky kvalitního výzkumu a podporovat tak rozmanitost výzkumné kultury. → Narativní sebeevaluace, možnost uvést jakékoli relevantní informace, možnost upravit zprávu dle fakultních preferencí. ̶ Vycházet z vnitřních hodnot: vytvořit podmínky pro bezpečné výzkumné prostředí a opuštění nežádoucích strategií orientovaných na to, co se měří. → Nezávislost na externích hodnoceních; neovlivňuje přímo financování. ̶ Transparentnost, inkluzivnost. → Materiály a design vznikaly v pravidelné komunikaci se zástupci fakult. ̶ Co nejméně zatížit akademiky. → Propojení s hodnocením doktorského studia; podpora rektorátu. 4

5. Vzory Strategy Evaluation Protocol (Nizozemsko) Sebeevaluační zprávy M17+ Organizace Celkový design REF (UK) Agreement on Reforming Research Assessment, SCOPE Mindset a přístup k hodnocení 5

6. Základní design IHVD ̶ Nezávislé na externích hodnoceních. ̶ Informované peer review (návštěvy panelu na místě) s 5letým cyklem ̶ Nejdůležitější jsou formativní prvky. ̶ Redukce vlivu metrik. ̶ Hodnocená jednotka je pracoviště (příp. cluster) a doktorský program. ̶ Výstupem je formativní zpětná vazba (evaluační zprávy). ̶ EZ má sumativní prvky: komentář k hodnocenému období 2017–2021; známky ̶ Hodnocení není navázáno na financování, ale na výzkumné strategie. ̶ Prostor prezentovat a ocenit různé formy výzkumných aktivit místo soutěžení. 6

7. • Ovlivňují menší část rozpočtu na výzkum. • Každoročně (sleduje tříleté období). Financování Výkonové indikátory • Informace o celé univerzitě/fakultě/ ústavu. • Výsledky slouží MŠMT pro financování VŠ. M17+ Evaluativní aktivity na MU • Standardní bibliometrické analýzy produkce, ohlasu, dopadu a spolupráce. Monitoring Hodnotící rozhovory s fakultami • Interní hodnocení výzkumu a doktorského studia. • 1× za pět let. • Bez návaznosti na finance. Hodnocení výzkumu: IHVD 7

8. Organizace hodnocení a odpovědnost Fakulty/ústavy sebehodnocení svých pracovišť (jako výzkumné organizace v M17+) Rektorát Hodnocená jednotka základní subjekt hodnocení garant a metodická podpora (jako MŠMT v M17+) Plánují strukturu hodnocených jednotek. Design systému, vzory dokumentů. Pracoviště, nebo cluster pracovišť + přiřazený doktorský studijní program. Datové podklady (bibliometrie, data o DSP apod.). Plánují podobu evaluačního panelu. Organizace návštěv panelu. 8

9. Dokumenty a podklady ̶ 2 vzory sebeevaluačních zpráv ̶ Hodnocená jednotka („výzkum“) – zpracuje HJ ̶ Doktorský studijní program – zpracuje garant DSP ̶ Bibliometrická zpráva (zpracuje rektorát) ̶ Redefinování bibliometrie – ne hodnoticí nástroj, ale informující, záměrně panoramatický materiál. ̶ Informace o publikační činnosti hodnocené jednotky, nemá být zásadní pro hodnocení. ̶ Generický report z Informačního systému MU a WoS. ̶ Produkce, pokrytí na WoS, prestiž zdrojů, ohlas. ̶ Data o DSP ̶ Počty studentů, školitelů, obhajob, témata disertačních prací atd. 9

10. Organizace panelů Panely Předsedové oborových panelů, nebo fakultní panel / ISAB Minimálně 3 členové (alespoň 2/3 členů ze zahraničí). Souhrnný panel součásti Evaluační panel Ad hoc fakultní (v případě oborové homogenity) International Scientific Advisory Board (ISAB) součásti Oborový 10

11. Mezinárodní účast – 21 států mimo ČR/SK 11

12. Výstupy a dopady ̶ Panely: Evaluační zpráva pro 1. hodnocenou jednotku, 2. doktorský studijní program, 3. fakultu. ̶ Fakulty/ústavy: strategický plán pro výzkum zahrnující implementaci doporučení, plán rozvoje DSP. ̶ Fakulty/ústavy + vedení MU: Evaluativní interview založené na strategických plánech → závazky pro rozvoj výzkumu.

13. IHVD v číslech Zainteresované osoby Osoby na pracovištích, garanti DSP, studenti, zaměstnanci rektorátu Hodnotitelé 88 na místě 6 online 800 94 Hodnocených jednotek = 109 sebeevaluačních, evaluačních a biblio- metrických zpráv Náklady Procento z výše 5leté institucionální podpory na DKRVO 109 0,14 %

14. Evaluujeme evaluaci ̶ Zástupce rektorátu na (téměř) všech panelech. ̶ Někde vnímáno jako kontroverzní. ̶ Dotazník všem aktérům. ̶ Bezprostředně po skončení hodnocení. ̶ 81 % respondentů hodnotí IHVD 2022 jako užitečné. ̶ „Feedback day“. ̶ Konzultace s Research Evaluation Group INORMS. ̶ Elizabeth Gadd, Tanja Strøm ̶ Souhrnný report (evaluace evaluace). 14

15. Co jsme se především naučili ̶ Významný krok k zodpovědnému hodnocení, ale stále je to málo… ̶ Diskuse nad hodnotami, které sledujeme a definováním toho, na čem záleží, musí být mnohem důkladnější → Jak má vypadat „místo, kde chceme pracovat“? ̶ Ještě více spolupráce na designování a interpretaci evaluace s evaluovanými. ̶ Posílit formativní charakter → více prostoru pro pohled do budoucna, více flexibility. ̶ Budovat expertízu a profesionalitu, věnovat kapacitu. ̶ Komunikace, komunikace, komunikace! 15