Uniwersytecka Komisja Nauki Olsztyn, 11.10.2013.

1. Parametryzacja i kategoryzacja Jednostek Naukowych podsumowanie i pytania Uniwersytecka Komisja Nauki Olsztyn, 11.10.2013. Stanisław Kistryn Kategoryzacja JN 2013 - podsumowanie i pytania

2. Zadanie ustawowe Art. 42. ust. 1. Kompleksowa ocena jakości działalności naukowej lub badawczo-rozwojowej jednostek naukowych, jest przeprowadzana na podstawie wyników oceny poziomu naukowego prowadzonych badań naukowych lub prac rozwojowych oraz ich efektów w odniesieniu do standardów międzynarodowych, a także oceny znaczenia działalności jednostki naukowej dla rozwoju nauki w skali międzynarodowej oraz wzrostu innowacyjności w skali kraju. Kategoryzacja JN 2013 - podsumowanie i pytania

3. Grupa Nauk Rodzaj Jednostki Humanistyczne i Społeczne Ścisłe i Inżynierskie o Życiu o Sztuce i Twórczości Artystycznej Podstawowe Jednostki Organizacyjne Szkół Wyższych 8 6 4 4 Instytuty Polskiej Akademii Nauk 5 8 2 Instytuty Badawcze 6 3 3 Inne 5 3 2 1 Grupy Wspólnej Oceny Kategoryzacja JN 2013 - podsumowanie i pytania

4. Kryteria • Cztery kryteria oceny dla wszystkich JN: • Osiągnięcia naukowe i twórcze • Potencjał naukowy • Materialne efekty działalności naukowej • Pozostałe efekty działalności naukowej Określenie kategorii A+ ►ocena ekspercka z uwzględnieniem dodatkowych kryteriów Kategoryzacja JN 2013 - podsumowanie i pytania

5. Grupa Nauk Humanist. i Społecznych Ścisłych i Inżynierskich o Życiu o Sztuce i Twórczości Artystycznej Kryterium Publikacje Monografie Publikacje Monografie Patenty Publikacje Monografie Patenty Publikacje Monografie Patenty Dorobek artyst. 1. Osiągnięcia naukowe i twórcze Uprawnienia Rozwój kadry Funkcje Projekty Uprawnienia Rozwój kadry Lab. akredytow. Status PIB Środki z projekt. Uprawnienia Rozwój kadry Lab. akredytow. Uprawnienia Rozwój kadry Funkcje Projekty 2. Potencjał naukowy Patenty Ekspertyzy Płace ze źródeł zewnętrznych Nakłady na apa- raturę i oprogr. Płace ze źródeł zewnętrznych Nakłady na apa- raturę i oprogr Ekspertyzy Działania artyst. 3. Materialne efekty działalności naukowej Nagrody Konferencje Popularyzacja Specjalne Nagrody Konferencje Popularyzacja Specjalne Nagrody Konferencje Popularyzacja Specjalne Nagrody Konferencje Popularyzacja Specjalne 4. Pozostałe efekty działalności naukowej Podkryteria wg grup nauk i rodzaju Jednostek Naukowych Kategoryzacja JN 2013 - podsumowanie i pytania

6. Kategoryzacja • ► Ranking jest etapem pośrednim (?) • konieczne porównanie punktacji jednostek z wzorcem • ►Jednostki referencyjne • minimalne wymaganie wartości kryteriów p1, …, p4 dla • przekroczenia progów kategorii A (B→A) i B (C→B) • (z analizy statystycznej zakresu wartości każdego z kryteriów • oraz poprzez odniesienie do standardów światowych) • ►Kategoryzacja • włączenie jednostek referencyjnych AB i BCdo rankingu; • odniesienie punktacji każdej jednostki do wyniku rankingu • jednostek referencyjnych AB i BC Kategoryzacja JN 2013 - podsumowanie i pytania

7. Kategoryzacja X Y Ankieta JN Ankieta JN g1R1 p1 p1 g2R2 p2 p2 g3R3 p3 p3 g4R4 p4 p4 Ranking: ● Porównanie jednostek parami ważoną relacją przewyższania ● Uporządkowanie wg wyników Porównanie ocen dla każdego z i=4 kryteriów piX↔piY→Ri Jednostki otrzymują punkty w zakresie (–gi÷gi ) Wynikiem porównaniapary jednostek jest dla każdej z nich sumapunktów z 4 porównań par ocen (wszystkie kryteria) Jednostki można uszeregować ze względu na sumę punktów ze wszystkich porównań w parach Σ Kategoryzacja JN 2013 - podsumowanie i pytania

8. Wagi kryteriów wg grup nauk i rodzaju Jednostek Naukowych Maksymalna punktacja w ostatecznej ocenie (wagi) Kryterium sposób oceny Nauki Hum. + Społ. Nauki Ścisłe + Inżyn.JU PAN IB Nauki o Życiu JU PAN IB Nauki o Sztuce i Twórczości Artystycznej 1. Osiągnięcia naukowe i twórcze Punkty z listy ministerial-nej i ustalone przez KEJN 65 656535 707560 60 Wg ustalonej punktacji 15 101010 555 20 2. Potencjał naukowy 3. Materialne efekty działalności naukowej Wg ustalonej punktacji 5 151545 151025 5 4. Inne efekty działalności naukowej Ankieta i ZE 15 101010 101010 15 Kategoryzacja JN 2013 - podsumowanie i pytania

9. Kategoryzacja – wyniki ► A+ 37 3,8% ► A 308 32,0% ► B 541 56,2% ► C 77 8,0% Kategoryzacja JN 2013 - podsumowanie i pytania

10. Przyznane kategorie według rodzaju Jednostek Naukowych Liczba przyznanych kategorii Kategoria Nauki Hum. + Społ. Nauki Ścisłe + Inżyn. Nauki o Życiu Nauki o Sztuce i Tw. Artyst. Ogólnie JU PAN IB In JU PAN IB JU PAN IB JU PAN IB JU A+ 23 12 2 0 8 4 0 4 3 2 2 9 5 0 A 225 42 35 6 77 15 21 20 56 19 12 72 8 2 B 85 7 23 451 15 70 5 115 6 40 73 178 2 7 C 57 1 8 11 18 0 0 15 0 6 17 1 2 7 Kategoryzacja JN 2013 - podsumowanie i pytania

11. Kategoryzacja – wyniki Kategoryzacja JN 2013 - podsumowanie i pytania

12. Kategoryzacja - propozycje • Wstępny zestaw uwag, wątpliwości, propozycji • Ustawa przyjęta jako „dana”, trudne zmiany (pożądane jendakże) • zapisy podziałów JN w grupy dziedzin oraz grupy rodzajowe, odniesienie międzynarodowe; kategoryzacja jednostek podstawowych • Rozporządzenie – do „łatwej zmiany” • kryteria, parametry, tryb itp.. Kategoryzacja JN 2013 - podsumowanie i pytania

13. Kategoryzacja - pytania • 1. Podział na Grupy Wspólnej Oceny • Zasady przypisywania do GWO • Jednostki interdyscyplinarne • 2. Kryteria oceny • Ilość kryteriów • Zawartość (parametry) kryteriów – szczegółowość • Audyt ?! • Kryteria oceny czasopism naukowych Kategoryzacja JN 2013 - podsumowanie i pytania

14. Kategoryzacja - pytania 35 20 15 25 • 3. Wagi kryteriów • Odzwierciedlenie misji JN ? • Opinie ekspertów • 4. Tryb kategoryzacji • Metoda porównań parami – tylko z jedn. referencyjnymi ? • 5. Definicja jednostek referencyjnych • Algorytm, wartości - dostępność • Analiza statystyczna wartości vs. określenie ekspertów w dziedzinach (zwłaszcza kryterium 1) Kategoryzacja JN 2013 - podsumowanie i pytania

15. Kategoryzacja - pytania • 6. Zespoły ewaluacyjne • Tryb powoływana, skład, liczebność • Zakres prac, rola w typowaniu A+ • 7. Jednostki A+ • Zestaw kryteriów; audyt ? • Eksperci vs. algorytm? • 8. Jednostki interdyscyplinarne • Przydzielanie do GWO – zasady ? • Metoda „dedykowanych” jednostek referencyjnych” Kategoryzacja JN 2013 - podsumowanie i pytania

16. Dziękuję za uwagę ! – O, tak – rzekł Tygrys – to są bardzo dobrzy fruwacze. Tygrysy to są Okropnie Dobrzy, Strasznie Dobrzy fruwacze. – Ooo… - powiedziało Maleństwo. – A czy one umieją tak dobrze fruwać jak Sowa ? – Tak – odparł Tygrys – tylko że nie chcą. – A dlaczego nie chcą ? – No, bo jakoś nie chcą. Maleństwo nie mogło tego zrozumieć …, lecz Tygrys powiedział, że to trudno wytłumaczyć komuś, kto sam nie jest Tygrysem. Chatka Puchatka, str. 57. Kategoryzacja JN 2013 - podsumowanie i pytania

17. Kategoryzacja JN 2013 - podsumowanie i pytania

18. 15 20 25 30 35 40 45 50 8% 23% 5% 20% 2% 17% 14% 11% Ocena czasopism naukowych Zasady oceny Lista A: od 15 do 50 punktów w zależności od IF > 0,005 (JCR, punktacja osobno w grupach tematycznych) najniższy IF w grupie najwyższy IF w grupie Lista C: 10 punktów (ERIH) ; w 2012 trzy grupy 10/12/14 Kategoryzacja JN 2013 - podsumowanie i pytania

19. Ocena czasopism naukowych Zasady oceny • Lista B: od 1 do 10 punktów (co 1); szereg kryteriów • Dane do analizy na podstawie składanych ankiet (system elektroniczny – http://pbn.nauka.gov.pl/) • Czasopisma kwalifikowane do trzech obszarów wiedzy: • grupa nauk humanistycznych (H) • grupa nauk społecznych (S) • grupa nauk ścisłych, technicznych, medycznych i przyrodniczych (TZ) Kategoryzacja JN 2013 - podsumowanie i pytania

20. Ocena czasopism naukowych Zasady oceny – Lista B • Kryteria wstępne (za okres 2 lat): • Udostępnianie listy recenzentów nie rzadziej niż raz w roku • Właściwe i jawne zasady recenzowania (double-blind, 2+ recenzentów, …) • Posiadanie czynnej strony internetowej • Co najmniej 50% recenzentów zewnętrznych • Naukowy charakter czasopisma (w każdym numerze 2+ artykułów nauk.) • Tytuł i streszczenie w języku angielskim • Udokumentowana stabilność wydawnicza • Wdrożona procedura zabezpieczająca oryginalność (zapora ghostwriting) • Deklaracja wersji pierwotnej (papierowa/elektroniczna) • Do kolejnego etapu oceny kwalifikowane czasopisma spełniające • kryteria e), i) oraz co najmniej 5 z pozostałych 7 kryteriów wstępnych Kategoryzacja JN 2013 - podsumowanie i pytania

21. Ocena czasopism naukowych Zasady oceny – Lista B • Ustalenie punktacji – 13 parametrów szczegółowych • Predicted Impact Factor (PIF) • Polski Współczynnik Wpływu (PWW) • Zagraniczna afiliacja autorów • Indeksacja w bazach danych • Liczba artykułów publikowanych w roku • Umiędzynarodowienie recenzentów • Częstotliwość wydawania • Język publikacji • Umiędzynarodowienie rady naukowej • Wersje on-line • - 13. Redaktorzy statystyczni, tematyczni, językowi Kategoryzacja JN 2013 - podsumowanie i pytania

22. Ocena czasopism naukowych Zasady oceny – Lista B: punktacja Kategoryzacja JN 2013 - podsumowanie i pytania

23. Ocena czasopism naukowych Zasady oceny – Lista B, ostateczna punktacja • P1 = 10 • „Punktacja” • 0 < P1 < 1  P1 = 1 ; P1 > 1  P1 = Int(P1) • Pc = (1-c) ∙ P1 + c ∙P2 ; Pc = Int(Pc) • P2 – punktacja z roku poprzedniego • c = 0,3 – stała przeniesienia (w 2012 było c = 0,4) • P = max{Pc,P1} – dla czasopism z określonym PIF > 0 • P = Pc – dla czasopism o nieokreślonym PIF lub PIF = 0 • P = 10 – dla czasopism z list Science Citation Index Expanded, Social Science Citation Index, Arts & Humanities Citation Indexi nie wskazanych w listach A lub C Kategoryzacja JN 2013 - podsumowanie i pytania

24. Lista A Lista C Ocena czasopism naukowych Wyniki otrzymane w 2012 Lista A 10 230 pozycji 133 polskie Ogółem 16,5 tys. pozycji 1840 polskich Lista C 4 337 pozycji 101 polskich Kategoryzacja JN 2013 - podsumowanie i pytania

25. Ocena czasopism naukowych Wyniki otrzymane w 2012 Lista B grupa H Lista B grupa TZ Lista B grupa S Lista B 1 854 pozycji 1 606 polskich Kategoryzacja JN 2013 - podsumowanie i pytania