L’analisi CRUI delle citazioni delle pubblicazioni recensite dall’ISI

1. L’analisi CRUI delle citazioni delle pubblicazioni recensite dall’ISI Elena Breno, Giovanni A. Fava, Vincenzo Guardabasso e Mario Stefanelli Roma, 8 ottobre 2003 Piazza Rondanini, 48 00186 Roma Tel. +39.06.684411 fax +39.06.68441399 e-mail: segreteria@crui.it

2. Sommario • Premessa e finalità dell’analisi • Metodologia dell’analisi • Analisi dell’impatto della ricerca scientifica nazionale in ambito internazionale • Analisi della produzione scientifica degli Atenei • Conclusioni e prospettive future

3. Premessa (1)(Prof. Luciano Modica) • E‘ largamente condivisa l’opinione che si debba valutare la ricerca degli Atenei. • E‘ molto difficile definire metodologie di valutazione “oggettiva” della “qualità” della ricerca. • Gli appartenenti ad una comunità scientifica spesso condividono lo stesso giudizio circa la qualità dei “colleghi” e dei risultati della loro ricerca. • Ma questi “valori” soggettivi spesso sfuggono ad analisi puramente “oggettive”.

4. Premessa (2) • Un indicatore quantitativo, sia pur molto rozzo, spesso usato per valutare l’attività di ricerca di gruppi o enti è rappresentato dal numero di pubblicazioni prodotte. • Un correttivo a questo indicatore è possibile analizzando le informazioni gestite dell’Istitute of Scientific Information (ISI) che fornisce, oltre alla rivista (più di 9.000), anche il numero di citazioni ricevute da ogni pubblicazione inserita nella banca dati.

5. Classi di indicatori per la valutazione della ricerca • Acquisizione e gestione delle risorse • Produzione scientifica • Visibilità o presenza nazionale e internazionale • Impatto sul sistema socio economico

6. Finalità dell’analisi • Contributo alla definizione di una metodologia condivisa di valutazione della ricerca utilizzando le informazioni contenute nella banca dati dell’ISI. • Analisi della produzione scientifica di gruppi di ricerca (università, settori scientifici, dipartimenti): • produttività(numero di pubblicazioni/ numero di ricercatori) • visibilità(numero di citazioni/numero di ricercatori) • impatto(numero di citazioni/numero di pubblicazioni). • Tali indicatori di performance scientifica sono stati stimati per settori scientifici il più possibile omogenei.

7. ISI National Science Indicators • Il NSI mette a disposizione un insieme di indicatori per la valutazione comparativa della produzione scientifica italiana nel periodo 1981-1999 rispetto a circa cento nazioni. • Il NSI fornisce il numero di pubblicazioni (P) e il numero di citazioni (C) ricevute da ciascuna pubblicazione. • Il rapporto C/P permette di calcolare l’impatto internazione della ricerca di una nazione.

8. Nazione Citazioni(C) Pubblicazioni(P) Impatto (C/P) Sweden 13,63 2.733.844 200.519 Denmark 12,80 1.277.433 99.836 Netherlands 12,36 3.029.184 245.055 UK 12,08 12.035.155 995.997 Belgium 10,43 1.273.803 122.106 Finland 10,31 875.172 84.881 France 9,73 6.200.504 637.357 Germany 9,61 8.391.278 873.536 Italy 8,76 3.070.391 350.433 Austria 8,51 666.197 78.266 Ireland 7,20 213.072 29.575 Spain 6,10 1.255.011 205.742 Portugal 5,59 111.770 19.979 Greece 5,20 231.153 44.466 Paesi dell’UE classificati per Impatto Scientifico (1981-1999)

9. Andamento nel tempo dell’Impatto (Italia rispetto a Danimarca e Svezia)

10. Categorie ISI • La banca dati ISI permette di analizzare il livello di competitività del sistema della ricerca italiana in circa 100 settori di ricerca (categorie ISI) . • Non è possibile distinguere il contributo della ricerca universitaria da quella di altri enti di ricerca pubblici e privati. • Non è facile tener conto delle risorse, umane e materiali, impegnate nei vari settori. • Si possono, comunque, produrre studi di settore e, soprattutto, analizzare evoluzioni nel tempo del livello di impatto.

11. N Categorie ISI Impatto Italia (I) Impatto globale (W) Differenza % Impatto italiano rispetto al globale (I-W)/W x 100 1 Inorganic & Nuclear Chemistry 11,03 7,97 +38 2 Chemical Engineering 7,34 5,39 +36 3 General & Internal Medicine 14,32 11,78 +22 4 Metallurgy 4,72 3,96 +19 5 Geology/Petrology/Mining Engineering 1,4 1,25 +12 6 Instrumentation/Measurement 5,06 4,56 +11 7 Chemistry 10,36 10,1 +3 8 Organic Chemistry/Polymer Sciences 9,33 9,14 +2 Categorie ISI in cui l’Italia presenta un Impatto superiore al valore medio mondiale (1981-1999)

12. ISI Italian Citation Report1981-1999 • Numero di pubblicazioni: 459.740 • Numero di citazioni: 3.209.760 • Numero di autori: 2.423.201 • Numero di affiliazioni: 1.089.252 • Numero di riviste: 9.335

13. Modello concettuale dei dati Addresses 9 Area CUN Authors Articles Journals Fields Categories 106 24

14. Aree scientifiche CUN considerate nello studio

15. Descrittori • Risorse umane:numero di docenti e ricercatori di ruolo alla data del31 Dicembre 2000 (fonte MIUR) . • Volume della produzione scientifica: numero di pubblicazioni scientifiche relative al quinquennio 1995-1999 (fonte ISI) . • Citazioni della produzione scientifica: numero di citazioni ricevute nello stesso periodo da ciascuna pubblicazione (fonte ISI) .

16. Indicatori • Produttività scientifica:rapporto tra il numero di pubblicazioni nel quinquennio e il numero di professori e ricercatori. • Visibilità scientifica: rapporto tra il numero di citazioni ricevute dalle pubblicazioni del periodo e il numero di professori e ricercatori. • Impatto scientifico: rapporto tra il numero di citazioni e il numero di pubblicazioni del periodo.

17. Analisi da diversi punti di vista • Sistema nazionale universitario • Aree scientifiche CUN • Dipartimenti di un Ateneo • Gruppi di ricerca

18. La valutazione della performance scientifica degli Atenei

19. Possibili viste della performance degli Atenei • Valutazione della performance: • a livello complessivo • a livello di macro aree: Scienze della vita, Scienze cliniche e Scienze tecniche • a livello di aree più specifiche: le aree scientifico-disciplinari definite dal CUN

20. Il posizionamento dell’Ateneo in una specifica Area CUN

21. La valutazione della performance delle strutture di ricerca di un Ateneo

22. Il posizionamento dei Dipartimenti di un Ateneo • Utile per valutare la performance scientifica dei Dipartimenti di un Ateneo comparandola con quella di strutture di ricerca nazionali “omogenee”. • Opportunità di utilizzare i risultati dello studio CRUI per una valutazione di Ateneo sfruttando le informazioni disponibili solo a livello locale. • Necessità di tener conto del mix di produzione dei singoli Dipartimenti nelle diverse Aree CUN. • Stima della performance media nazionale tenendo conto del mix di produzione dello Dipartimento.

23. Produttività scientifica dei Dipartimenti dell’Ateneo

24. La distribuzione nelle aree CUN della produzione scientifica dei Dipartimenti di un Ateneo

25. Il posizionamento dei Dipartimenti di un Ateneo

26. Conclusioni • Incentivare la politica della “qualità” e del “merito”. • Individuare aree e strutture di “eccellenza”. • Pianificare attività e interventi. • Assicurare trasparenza al processo di allocazione delle risorse. • Valorizzare, confrontare e motivare, sia a livello centrale che periferico.

27. Futuro • Verifica del grado di “interesse reale” per questa ricerca da parte degli Organi di Governo e Valutazione del sistema universitario. • In caso affermativo, occorre: • acquisire gli aggiornamenti dell’Italian Citation Report; • realizzare un sistema di monitoraggio della produzione scientifica degli Atenei basato su indicatori bibliometrici condivisi a livello internazionale; • offrire un servizio a tutti gli Atenei per favorire studi locali di valutazione della ricerca.

28. Il posizionamento relativo di un Ateneo in un’area CUN

29. Il posizionamento dei Dipartimenti di un Ateneo