Mokslo darbų vertinimo sistemos: kokybinis vertinimas

1. Mokslo darbų vertinimo sistemos: kokybinis vertinimas Algis Krupavičius

2. HSM sritys apima nuolat besikeičiančių dalykų - žmonių mastymo, jausmų, įsitikinimų, žinių ir veiklos - tyrimus laike individų, organizacijų ir sociumo lygmenyse; tiriami tokie dalykai, kaip: komunikacija, kalba ir kalbotyra, literatūra, kinas, vaizduojamieji menai, skulptūra, scenos menai, nacionalinės, regioninės, etninės, rasinės ir klasės ar kastos pagrindu susidariusios kultūros bei subkultūros, teologija, filosofija, etika, politika, ekonomika, istorija, sociologija, psichologija, archeologija, antropologija, švietimas, bibliotekininkystė, architektūra, kraštovaizdžio dizainas, miestų planavimo viešoji politika, vadyba, lyderystė, rinkodara ir t.t. „AKADEMINIS“ TYRIMAS Jam skiriamas valstybinis finansavimas Ilgas tyrimo laikotarpis „Teorinis“ lygmuo „Tikslios metodologijos“ Nukreiptas į hipotezę „Smalsusis“ (angl. curiosity-driven) Aprašytas (pvz., monografijoje ar straipsnyje), recenzuotas, publikuotas (t.y. prieinamas skaitytojui) „PROFESIONALUS“ TYRIMAS Užsakytas iš valstybinių lėšų Trumpas tyrimo laikotarpis „Taikomasis“, „Tyrimo metodai parenkami pragmatiškai“ Turi konkretų uždavinį Sprendžia tam tikrą problemą Publikuotas (pvz., ataskaitoje) Įvertintas profesionalų Patvirtintas/rekomenduotas naudoti (paprastai neatidėliotinai) kaip veiksmų planas Dažniausiai pripažįstama, kad ši konceptuali poliarizacija tikrovėje neegzistuoja ir judant bet kuria kryptimi slankiąja skale (kaip parodyta žemiau), skirtingoms tyrimų prieigoms būdingų vertybių pusiausvyra kinta. HSM tyrimų rūšys

3. Mokslinio recenzavimo samprata • Mokslinis recenzavimas (angl. peer review) yra tyrimų rezultatų ir/ar tyrimų projektų kokybės peržiūros sistema, kurioje ketinamus skelbti tyrimų rezultatus ar ketinamus finansuoti tyrimų projektus vertina nepriklausomi ekspertai (angl. peers) • Mokslinis recenzavimas reiškia, kad kiti atitinkamos mokslų srities mokslininkai tyrimus vertina pagrįstumo, reikšmingumo bei originalumo ir aiškumo požiūriais

4. Mokslinių tyrimų rankraštis ar projektas pateikiamas atitinkamam leidiniui ar paramos fondui Gali būti naudojamas vidinis ekspertinis vertinimas, po kurio kūrinys perduodamas išoriniam vertinimui arba atmetamas Rankraštį ar projektą vertina išoriniai (dažniausiai neapmokami) ekspertai Išoriniai ekspertai vertina (reitinguoja) ir teikia rekomendacijų dėl publikavimo ar paramos Autoriui gali būti leista atsakyti į recenzentų pastabas Ekspertai vertinimus pateikia leidiniui ar paramos fondui Ekspertų grupės svarsto recenzentų išvadas Rankraštis ar projektas priimamas arba atmetamas Mokslinio recenzavimo procesas

5. Mokslinio recenzavimo naudojimo rūšys D. Britanijoje • Sprendžiant, ar moksliniams tyrimams reikėtų skirti finansavimą. Visos pagrindinės finansavimą skiriančios institucijos (pvz., mokslų tarybos, biomedicininės paramos organizacijos) naudoja mokslinio recenzavimo metodą, kai sprendžia, kuriuos projektus reikia finansuoti pirmiausia. Mokslinis recenzavimas pasitelkiamas ir vertinant jau finansuojamų projektų eigą. • Sprendžiant dėl mokslinių tyrimų publikavimo moksliniuose žurnaluose. Mokslinis recenzavimas naudojamas įvertinti pateikto publikuoti mokslinio darbo kokybę bei reikšmingumą. Būtent mokslinis recenzavimas lemia, kurios mokslinės temos ir klausimai pateks į viešąją erdvę, kur visa tai bus publikuojama ir kokią įtaką darys akademinei ir kitai visuomenei (kuo garsesnis mokslinis žurnalas, tuo didesnio atgarsio gali susilaukti jame išspausdintas straipsnis). • Vertinant universiteto padaliniuose atliekamus tyrimus. Mokslinis recenzavimas naudojamas kaip Tyrimų vertinimo projekto (TVP-RAE), vertinančio universiteto padaliniuose atliekamų mokslo darbų kokybę, dalis. Atsižvelgiant į mokslinio recenzavimo rezultatus, universitetų padaliniams skiriamos valstybės lėšos. Be to, „recenzuotasis“ mokslas vaidina vis didesnį vaidmenį formuojant politiką ir priimant sprendimus

6. Mokslinio recenzavimo būdai • Vienpusis aklasis mokslinis recenzavimas (VAMR): tik recenzentas žino autoriaus tapatybę • VAMR problemos: dažnai pripažįstamas šališku naujų idėjų, moterų, jaunų mokslininkų, karjeros kryptį pakeitusių autorių ar mokslininkų iš mažiau prestižinių universitetų ir/arba besivystančių šalių atžvilgiais. • Dvipusis aklasis mokslinis recenzavimas (DAMR): ir recenzentai, ir autoriai vieni kitiems lieka nežinomi. • DAMR sistema yra teisingesnė ir turi tam tikrų simbolinių galių, jei projektai yra atmetami, skatina teisingumą ir lygybę, kai priimami sprendimai dėl mokslo finansavimo ir mokslo darbų publikavimo. • Atviras mokslinis recenzavimas (AMR): mokslo darbo autorius žino, kas yra recenzijos ar komentarų autorius. • AMR problemos: padeda užkirsti kelią nesąžiningoms neigiamoms recenzijoms, kita vertus, neapsaugo nuo nesąžiningų tendencijų – recenzentai, ypač naujokai, bijodami atsakomųjų veiksmų ateityje, gali jaustis privalą teigiamai recenzuoti jau pripažintų mokslininkų ar institucijų darbą.

7. Mokslinės recenzijos funkcijos • Pateikti komentarus, leidžiančius leidinio redaktoriui spręsti, ar rankraštis vertas publikuoti. • Pateikti komentarus, leidžiančius agentūrai spręsti, ar mokslinio darbo vykdymas vertas finansuoti. • Pateikti pastabų, kurios padėtų autoriui pateiktąjį veikalą ar tyrimą patobulinti. • Papildomos mokslinės recenzijos funkcijos: • Sumažinti publikuojamame veikale ar tyrime esančių klaidų kiekį. • Nustatyti visų publikuojamų veikalų ar tyrimų kokybės lygį - tiek siektiną, tiek ir realų. • Padėti surasti tinkamą būdą užpildyti ribotą žurnalo plotą.

8. Mokslinio recenzavimo trūkumai • Recenzentų sprendimai nėra vieši. Dėl to mokslinis recenzavimas kaip tyrimų vertinimo būdas stokoja atvirumo. • Recenzentai linkę naudotis tik keletu vertinimo kriterijų ir paprastai daugiausia dėmesio skiria moksliškumui. • Recenzentai gali būti šališki dėl asmeninių motyvų

9. Sisteminio kokybinio mokslinių tyrimų vertinimo pavyzdžiai • D. Britanija- TVP (Research Assessment Exercise) • Kas vertinama? Originalus tyrimas, atliekamas tam, kad būtų gauta naujų žinių ir suformuotas naujas suvokimas. • TVP istorija. TVP pradžia laikomas Tyrimų atrankos projektas (angl. Research Selectivity Exercise), kurį 1986 m. organizavo Universitetų grantų komitetas. • Kaip vertinta? Universitetai pateikia statistinius duomenis (įskaitant darbuotojų ir studentų skaičių) bei informaciją apie kiekvieno aktyvaus tyrėjo mokslinį įdirbį (ne daugiau kaip keturi svarbiausi ir naujausi mokslininko vykdyti tyrimai). Pateiktieji duomenys buvo suskirstyti į vadinamuosius vertinimo vienetus. Pastarieji dažnai atitiko akademinius padalinius, kuriuos ekspertai pagal kokybę suskirsto į grupes.

10. TVP nuo 1992 m. • Tikslas- su kokybe susieta tyrimų ir institucijų finansavimo sistema • 2008 metų TVP: • kiekvienas aktyviai dirbantis mokslininkas pateikia ne daugiau kaip keturis mokslinius darbus (dažniausiai mokslinių žurnalų straipsnius ar knygas), kurių vertinimas (drauge su tam tikrais statistiniais duomenimis ir kokybine informacija) nulems iki 50 % vertinimo rezultatų. • Vertinimo laikotarpis: nuo 2001m. sausio iki 2007m. gruodžio 31 d. • Vertinimo principai: teisingumas, įvairovė, lygybė, ekspertinė peržiūra, skaidrumas, neutralumas, efektyvumas etc. • 67 vertinimo vienetai, atitinkantys pagrindines universitetų disciplinas. • Kiekvienos iš tų disciplinų tyrimų moksliniam recenzavimui bus sudaryta ekspertų grupė. Pastaroji nuspręs, kokį kokybės pjūvį reikėtų taikyti kiekvienai institucijai, pateikusiai visų vertinimo vienetų medžiagą. 900 ekspertų, suskirstyti į 15 koordinuojančių grupių ir 67 pogrupius. • Ekspertų sprendimais vėliau remsis finansavimą vykdančios institucijos, skirstydamos su kokybe susijusias lėšas.

11. Institucijų kokybės vertinimas: tyrimų samprata • Tyrimas Jungtinės Karalystės tyrimų vertinimo projekto tikslais suprantamas kaip originalus tyrinėjimas, atliekamas gauti žinių ir naują suvokimą. Jis apima darbą, kuris yra tiesiogiai reikšmingas verslo, pramonės ir viešojo bei nevyriausybinio sektorių poreikiams; mokslingumui; idėjų, vaizdinių, pasirodymų, artefaktų, įskaitant dizainą, iškėlimui ir generavimui, kai jie veda į naujas arba žymiai patobulintas įžvalgas; ir esamų eksperimentinės plėtros žinių naujų ar žymiai pagerintų medžiagų, prietaisų, produktų ir procesų, įskaitant naudojamus dizaine ir statybose, panaudojimą. • Tyrimas neapima rutininio medžiagų, sudėtinių dalių ir procesų, pavyzdžiui skirtų nacionalinių standartų laikymuisi, išbandymų ir analizės. Tyrimai taip pat nėra mokomosios medžiagos kūrimas, jei jame nėra originalaus tyrimo.[1] • [1] RAE 2008 Research Assessment Exercise: Guidance on submissions. June 2005, p. 47.

12. Vertinamų mokslo rezultatų klasifikacija: JK

13. Institucijų kokybės vertinimas: principai Teisingumas. Visi tyrimų tipai ir visos tyrimų rezultatų formos vertinamos nešališku ir visiems lygiu pagrindu. Grupių nariai yra išmokyti pritaikyti įvertinimo procesus ir kriterijus, kurie leidžia jiems pripažinti ir traktuoti visą spektrą taikomųjų, praktika paremtų ir pamatinių/strateginių tyrimų meistriškumą, remiantis vienodu pagrindu, nesvarbu, kur šis tyrimas būtų atliktas. Įvairovė. Paraiškos, skirtos TVP, 2008 m. atspindės skirtingus aukštos kokybės tyrimus, atliktus Jungtinėje Karalystėje aukštojo mokslo sektoriuje. 2008 m. sukurtos TVP procedūros, kurios bus pakankamai lanksčios, kad skatintų tyrimų įvairovę. Atitinkamai ekspertų grupės buvo išmokytos nustatyti tinkamus kriterijus, skirtus identifikuoti kokybę skirtingose tyrimų rūšyse, nesuteikiant vienai rūšiai daugiau svorio prieš kitą; taip pat kurti nuostatą, kad būtų pripažinti skirtingi aukštos kokybės tyrimo įrodymai. Lygybė. Aukštojo mokslo institucijos yra skatinamos pateikti visus jų geriausių tyrėjų darbus, įskaitant ir tuos, kurių mokslinės produkcijos apimtis buvo ribota dėl priežasčių, kurias apima lygių galimybių gairės. Siekiant laikytis lygių galimybių kontrolės įstatymų, reikalaujama iš aukštojo mokslo institucijų patvirtinimo, kad jos parengė ir dokumentuotai patvirtino tinkamą vidinį paraiškų rengimo ir darbuotojų parinkimo paraiškoms kodeksą. Ekspertų peržiūra yra svarbiausias TVP elementas. Pasitikėjimas su disciplina susijusių ekspertų recenzavimu. Kad šis pasitikėjimas būtų išlaikytas, paskirtos ekspertų grupės, pastaruoju metu aktyviai dalyvavusios aukštos kokybės tyrimuose. Nors šie ekspertai savo profesionaliems TVP paraiškų įvertinimams naudos tinkamus kiekybinius indikatorius, ekspertinis recenzavimas vis tiek lieka pirmaeilis. Aiškumas. Projektas siekia, kad visi rašytiniai dokumentai ir teiginiai apie TVP būtų aiškūs ir nuoseklūs. Šis principas apibrėžia ir TVP komandos rašytinių instrukcijų dokumentų, ir ekspertų grupės kriterijų parengimą. Nuoseklumas. Įvertinimai, atlikti TVP, turėtų būti nuoseklūs visose artimose srityse. Remiantis konsultacijomis dėl pasiūlymų 2008 m. TVP valdymui, vadovaujant kiekvieno iš 15 pagrindinių ekspertų grupių vadovų sudaryti giminingi pogrupiai, skirti vertinimo vienetams, pasižymintiems panašiais tyrimo požiūriais. Pagrindinės grupės dirba su pogrupiais, jos siekia apibrėžti ir susitarti dėl kriterijų ir darbo metodų, kurie gali būti pripažinti tinkami vertinimui ir suteiktų pagrindą nuosekliems nagrinėjimams. Pagrindinės grupės taip pat užtikrins nuoseklų kokybės standartų taikymą paraiškoms suteiktiems kokybės pjūviams. Tęstinumas. TVP vystosi, remiantis ir mokantis iš ankstesnių TVP. Su kiekviena sėkminga vertinimo sistemos praktika turi būti siekiamas tęstinumo ir plėtros balansas. TVP gerinimas 2008 m. vyksta remiantis intensyviomis peržiūromis ir konsultacijomis ir pirmiausia ten, kur nuspręsta, kad reikia pastebimų patobulinimų, kurie atsipirktų, padengtų jų įgyvendinimo kainą. Patikimumas. Kaip parodė atsiliepimai į kokybinio vertinimo recenzavimą ir finansuojančių institucijų tolesnės konsultacijos dėl TVP valdymo, esminė metodologija, pobūdis ir procesai – tai yra disciplina paremtas mokslinis recenzavimas, grindžiamas akademiniais sprendimais – yra patikimi tiems, kurie vertinami. Efektyvumas. TVP kaštai ir našta turi būti tokie, kad minimaliai būtų įmanoma atlikti tinkamą ir pateisinamą procesą. Atsižvelgiant į valstybines lėšas, paskirstytas remiantis TVP reitingavimu, ankstesni TVP buvo labai rentabilūs (įskaitant ir įvertintas išlaidas aukštojo mokslo institucijoms). Pavyzdžiui, 1996 m. TVP Anglijoje kaštai sudarė - 0,8 procentų valstybinio tyrimų finansavimo, kuris buvo paskirstytas atsižvelgiant į vertinimo rezultatus, vertės. Neutralumas. TVP skirta išmatuoti tyrimų kokybę aukštojo mokslo institucijose. Ji turėtų atlikti funkciją ir neiškreipti veiklos, kuri matuojama, bei neturėtų skatinti ar trukdyti bet kurio tipo veiklai ar elgsenai – kitokiai nei suteikiančiai bendrą stimulą gerinti bendrą tyrimų kokybę. Skaidrumas. TVP patikimumas yra sustiprinamas sprendimų priėmimo proceso skaidrumu. Šis principas yra svarbiausias finansuojančių institucijų darbe. Jis jau buvo pritaikytas kokybės vertinimo recenzavime ir tolimesnėse finansuojančių institucijų konsultacijose. Sprendimai ir sprendimų priėmimo procesas bus paaiškinami atvirai.

14. Kokybės lygių apibrėžimai

15. Kokybės pjūvio pavyzdys * Lentelėje pateikti neegzistuojančių universitetų duomenys, kurie neatskleidžia tikrų tikėtinų proporcijų.

16. Institucijos kokybės pjūvis

17. Institucijos kokybės pjūvio dėmenys • Kokybės procentus nustato ekspertų grupės. Minimalus tyrimų rezultatų įvertinimas - 50%. • Tam, kad būtų įvertintas bendras tyrimų kokybės pjūvis, ekspertų grupė turi apsvarstyti visas sudedamąsias institucijos paraiškos dalis. • Jos yra tokios: • apie darbuotojus gauta informacija (I vertinimo etapas), • tyrimų rezultatai (II vertinimo etapas), • duomenys apie studentus (III vertinimo etapas), • tyrimų pajamos (IV vertinimo etapas), • tyrimų aplinkos aprašas, • institucijos autoriteto akademiniame pasaulyje indikatoriai (V vertinimo etapas)

18. Kas lemia kokybės pjūvį? • Ataskaitas pateikusių darbuotojų skaičius, tyrimų pajamos per capita, doktorantų skaičius, publikacijų prestižiniuose mokslo žurnaluose ar prestižinių leidyklų išleistų knygų kiekis – gali paaiškinti „daugiau kaip 80 proc. reitingų svyravimų“.

19. TVP kritika • TVP atžvilgiu egzistuoja dviejų rūšių kritika: • Vieni kritikai iš esmės nepritaria mokslinių darbų vertinimui kaip tokiam. Jie pabrėžia, kad dėl TVP atsiranda nenumatytų pasekmių, pavyzdžiui, prasideda vadinamieji akademiniai „žaidimai“, nebenorima dalyvauti kolektyviniuose tyrimuose ir užsiimti dėstymu, smukdomi regioniniai universitetai. Pvz., dėl taisyklių, pagal kurias buvo atsiskaitoma už aukštųjų mokyklų darbuotojų mokslinį įdirbį, kuriasi futbolo stiliaus „žaidėjų rinka” vadinamosioms mokslo „žvaigždėms“. TVP susiaurina tyrimų veiklą, kad ši atitiktų „pramonės poreikius“, ir įtvirtina tyrimų priklausomybę nuo komercinio finansavimo. • Kiti kritikai daugiau priekaištų reiškia pačiam vertinimo procesui ir jo metodologijai. Pvz., teigiamiems ekspertų vertinimams turėjo įtakos ir ne tik vieneto dydis ir universiteto naujumas, bet ir tai, kad dalyvavimas ekspertų grupėje taip pat turi teigiamą poveikį vertinamo vieneto reitingui. • Kaštai. 1996 metų TVP kaštai (įskaitant alternatyviuosius) apytikriais skaičiavimais buvo nuo £27 iki £37 mln., nors nurodyta suma yra mažesnė už tikrąją, visgi sudaro tik 0,8% lėšų, paskirstytų pagal TVP

20. Australijos kokybinio mokslo darbų vertinimo patirtis • 2004 m. įkurta Australijos Humanitarinių mokslų, menų ir socialinių mokslų taryba • Australijos tyrimų vertinimo modelis nurodo tris veiksnius, kurie gali būti pritaikyti vertinant kiekvieno tyrimų vieneto disciplinas ir temas. Tai tyrimų kokybė, tyrimų poveikis ir tyrimų gebėjimai: • Kokybė. Tyrimų kokybė geriausiai atsiskleidžia per įrodymais paremtų argumentų ir su jais susijusių svarbiausių duomenų mokslinį recenzavimą. Potencialūs tiek mokslo, tiek ir ne mokslo sričių kokybės rodikliai gali būti palyginami. • Poveikis. Skirtingai nei kitų sričių atvejais, pagrindiniai mokslinių tyrimų poveikio kitiems tyrėjams ir visai visuomenei rodikliai yra ne tik įvairūs, bet ir specifiniai kiekvienai disciplinai. Jie turi būti išnagrinėti ekspertų grupėse, sudarytose iš akademinės visuomenės atstovų ir iš valstybės finansuotų tyrimų vartotojų. • Gebėjimai. Jie rodo, kaip tyrimų vienetas galės prisidėti prie pasirengimo ateities tyrimams ir jų tikslų, t.y., užtikrinti Australijos tyrimų gyvybingumą ir įvairovę ateityje. Šį veiksnį, kaip ir poveikį, turi vertinti ekspertų ir tyrimų vartotojų grupės.

21. Kokybinio tyrimų vertinimo principai ir nuostatos • Standartinė bibliometrija nėra tinkamas HSM tyrimų vertinimo būdas, nes neįvertina daugelio svarbių šių sričių rezultatų. • Geriausias tyrimų vertinimo būdas yra mokslinis recenzavimas. • Tyrimų grupės ir katedros yra tinkamiausi HSM sričių tyrimų vertinimo vienetai. • Tyrimų vertinimo modelis turi remtis atvejo analize ir įrodymais pagrįstais argumentais, apie kurių patikimumą ir vertę sprendžia ekspertai. • Vertinant tyrimų vienetą, turi būti nagrinėjami trys komponentai: kokybė, poveikis ir gebėjimai. • Plačiąja prasme visų disciplinų kokybė galėtų būti vertinama vienu veiksmingiausiu būdu, t.y. argumentuotu moksliniu recenzavimu.

22. Australijos modelio specifiškumas • Tyrimų vienetas gali ir turi pasirinkti tinkamiausius savo tyrimų kokybės, poveikio bei gebėjimų vertinimo būdus iš keleto galimų. Suteikiant galimybę rinktis, atsižvelgiama į skirtumus tarp disciplinų. Ataskaita rekomenduoja galimiems vertinimo būdams tinkamų (naudotinų) rodiklių sąrašą. Rodiklius ne visada įmanoma (ar reikia) suskirstyti taip, kad paiškėtų, kurie iš jų labiausiai atspindi kokybę, kurie – poveikį, o kurie (tam tikru mastu) – gebėjimus. • Siūlydamas sau tinkamus tyrimų vertinimo būdus, tyrimų vienetas turi būti lankstus. Rengdamas vertinamos medžiagos projektą, vertinimo vienetas gali (tam tikrose ribose) nusistatyti visų trijų kategorijų, t.y. kokybės, poveikio ir gebėjimų, svorį: • Kokybė: 40–70% • Poveikis: 20–50% • Gebėjimai : 10–30% • Vertinimo vienetas, pasirinkęs minimalius kategorijų svorius (t.y. kokybė – 40%, poveikis - 20%, gebėjimai - 10%), likusius 30% gali paskirstyti savo nuožiūra. Tokiu būdu vertinimo sistema gali būti lanksti ir prisitaikyti prie skirtingo specifinių disciplinų pobūdžio bei tyrimų vieneto strateginių planų. • Išsamus tyrimų rezultatų sąrašas laikomas svarbiu komponentu kontekstualizuojant vertinamus tyrimus ir pateikiant įvairiapusišką jų vaizdą. Tačiau publikacijų sąrašo kontekste vertinamos ir tos, kurias pats autorius laiko geriausiomis. • Ne akademinių sluoksnių ekspertų įtraukimas į vertinimo procesą yra didelė naujovė tyrimų vertinimo požiūriu. Vertinimo procese atsiranda visiškai naujas elementas, t.y. vartotojas.

23. Tyrimų gebėjimų vertinimo kriterijai • Tyrimų infrastruktūra: ar yra tyrimų infrastruktūra ir vidinė bei išorinė parama tyrėjams, ar jie yra susitelkę į komandas, grupes, centrus, laboratorijas, mokyklas, katedras, fakultetus, skyrius ar kitokius pasirinktus vertinimo vienetus; • Žinių kultūra: su žinių infrastruktūra susiję (ir ją veikiantys) žmogiškieji ir kitokie veiksniai. Dėl jų susiklosto ir yra palaikoma aktyvi tyrimų aplinka (įskaitant kritinę tyrėjų masę ir mokslo laipsnio siekiančius studentus, labai profesionalius iš svetur atvykstančius akademinius darbuotojus, sėkmingus tyrimų projektus, kurie finansuojami ir iš grantų, ir t.t.); • Su žiniomis susijęs ugdymas: mokslo laipsnio siekiančių studentų ir jų darbų vadovų mokymas ir rėmimas; • Žinių strategija: į pažangą orientuotų tyrimų gebėjimų (dabartinių ir būsimų) plėtros aspektai, ypač svarbūs tie iš jų, kurie atkreipia dėmesį į būtinybę įvertinti atliktus tyrimus, ateities strategiją ir veiklos planus.

24. Italijos kokybinio vertinimo patirtis • 2003–2006 mokslo metais pirmą kartą vyko sistemiškas tyrimų kokybės vertinimas, kuriam vadovavo Tyrimų vertinimo komitetas. • Vertino 157 ekspertai (iš jų nemažai kompetentingų užsienio ekspertų), o vertinamieji tyrimų rezultatai (pateikta apie 18 500 paraiškų) buvo sugrupuoti pagal mokslų sritis. Daugumą iš pateiktųjų tyrimų rezultatų sudarė moksliniai straipsniai, knygos ir jų skyriai. • Italijos tyrimų vertinimo sistema leidžia keistis informacija naudojant telematines priemones. Dėl to tyrimų rezultatams vertinti pakako 150 ekspertų ir 3–4 oficialių susitikimų. • Tyrimų vertinimas Italijoje nebuvo suvokiamas kaip „kontrolė“ ar „primetama valia“, bet, priešingai – kaip strateginė galimybė ir būtina priemonė, padedanti: išsiaiškinti realią Italijos vietą tarptautiniame mokslinių tyrimų kontekste, nustatyti pasikartojančias socioekonomines tyrimų klaidas, išsiaiškinti mokslinių tyrimų sistemos stiprybes ir silpnąsias vietas bei vertinti tam tikro laikotarpio pažangą. • Vertinami vienetai: universitetai (valstybiniai ir kiti įteisinti), viešosios tyrimų įstaigos, Italijos nacionalinė naujų technologijų, energijos ir aplinkos agentūra (ENEA), kiti tyrimus vykdantys vieši ir privatūs subjektai, pageidaujantys būti įvertinti ir sutarę dėl būsimo vertinimo.

25. Italijos kokybinio vertinimo sandara • Tyrimų vertinimo komitetas • sudarytas iš 7 Italijos vyriausybės paskirtų ekspertų; • organizuoja visą vertinimą; • nustato (drauge su mokslinės bendruomenės pasiūlytais stebėtojais) vertinimo grupių sudarymo kriterijus ir pasirenka jų sudėtines dalis; • vertina mokslinio vertinimo komitetų ataskaitas; • vertina grupių ataskaitas; • parengia galutinę kiekvienos vertintos mokslo ir studijų institucijos vertinimo ataskaitą; • teikia siūlymus, kaip pagal vertinimo rezultatus reikėtų skirstyti lėšas. • Kompiuterizuotos vertinimo procedūros • Visiškai kompiuterizuotas duomenų perdavimas; jį valdo 28 Italijos universitetų sudarytas konsorciumas CINECA. • Kompiuterizavus vertinimo procedūras, Tyrimų vertinimo komitetas gali užsiimti nuolatine stebėsena „iš viršaus į apačią“. • Mokslų sričių vertinimo grupės • Grupės sudarytos iš 5-9 ekspertų mokslininkų, kuriuos parinko Tyrimų vertinimo komitetas ir paskyrė Ministras. • Pasitelkusios kitų (išorės) ekspertų, turi įvertinti mokslo ir studijų institucijų (ar jų padalinių) pateiktus mokslinių tyrimų rezultatus. • Rengia galutines vertinimo ataskaitas ir reitinguoja srities institucijas

26. Vertinimo kriterijai: Italija, 2004- 2006

27. Pusiau kokybinis HSM darbų vertinimas Lietuvoje, 2009m. • I lygmens mokslo darbai laikomi tie aukščiausio lygio mokslinių tyrimų ir eksperimentiniai darbai, kuriuos tokiais pripažįsta pačios Institucijos ir kokybės požiūriu įvertina LMT ekspertai. • Institucijos vertinimui teikiami I lygmens mokslo darbai negali viršyti 15% visų teikiamų mokslo darbų kiekybinės apimties. LMT atlieka ekspertinį visų I lygmens mokslo darbų vertinimą, kiekvieną mokslo darbą įvertindama pagal norminę skalę. • Kokybiniai kriterijai, į kuriuos rekomenduojama atsižvelgti Institucijoms, savo mokslo darbus priskiriant I lygmeniui: problemiškumas (formulavimas, pažintinė vertė, reikšmingumas, refleksija), aktualumas (lituanistinis, nacionalinis ar tarptautinis, visuomeninis ar kultūrinis, fundamentalusis ar tarpdalykinis), turinio mokslinis pagrįstumas (teorinis, empirinis, metodinis, sisteminis, atrankos, išvadų, etc.), formos ypatybės (struktūriškumas, stilingumas, sudėtingumas), naujumas ir originalumas (problemos, teorinis, metodologinis, metodinis, empirinis, interpretacijos, analizės, išvadų, apibendrinimų etc.). • Institucijų mokslo darbų galutinį vertinimą sudaro I ir II lygmenų mokslo darbų įverčiai (iki 10 balų už I ir iki 10 balų už II lygmens mokslo darbus). Skaičiuojant I lygmens mokslo darbus, kiekvienas Institucijų vertinimui pateiktas vienetas LMT ekspertų vertinamas 10 balų skalėje; po to išvedamas visų Institucijos pateiktų vienetų įverčių vidurkis. Skaičiuojant II lygmens mokslo darbus, galutinis Institucijos surinktų taškų skaičius perskaičiuojamas į norminę 10 balų vertinimo skalę atsižvelgiant į Institucijos turimų tos srities mokslo darbuotojų ir 1/3 dėstytojų, tyrėjų bei menininkų tyrėjų etatų skaičių

28. Vietoj išvadų • Vyriausybės stengiasi gauti kuo daugiau naudos iš valstybės finansuojamų mokslinių tyrimų. Vadinasi, tam, kad būtų užtikrintas tyrimų efektyvumas ir tinkamai naudojamos jiems skiriamos lėšos, tyrimų rezultatus būtina vertinti. • Daugelis valstybių supranta HSM padėties sudėtingumą; esama daugelio iniciatyvų kurti teisingus ir skirtingus (nuo FBTM) rodiklius, ypač nestandartinius bibliometrinius rodiklius, kurie sietųsi su ISI bazėje nesančiais žurnalais, knygomis ir jų skyriais. • Kadangi standartinė kiekybinių matų sistema HSM ir menams vertinti yra ir netinkama, ir neteisinga, verta atkreipti dėmesį į naujo nestandartinio bibliometrinio vertinimo tarptautinę patirtį, kuri atskleidžia nemažą potencialą.