Как измеряют науку: основные показатели и индикаторы индексов цитирования

1. Как измеряют науку: основные показатели и индикаторы индексов цитирования Кириллова Ольга Владимировна к.т.н., консультант-эксперт БД Scopus «Механизмы включения казахстанских научных журналов и публикаций казахстанских ученых в зарубежные базы данных цитируемости» , г. Алматы, РК, 18-19 апреля 2013 г

2. Приказ Министра образования и науки Республики Казахстан от 31 марта 2011 года № 127 Об утверждении Правил присуждения ученых степеней • “Основные научные результаты диссертации на соискание ученой степени доктора философии (PhD), доктора по профилю публикуются не менее чем в 7 (семи) публикациях по теме диссертации, в том числе: … * 1 (одной) в международном научном издании, имеющем по данным информационной базы компании Томсон Рейтер (ISI WebofKnowledge, ThomsonReuters) ненулевой импакт-фактор или входящем в базу данных компании Scopus…”

3. Приказ Министра образования и науки Республики Казахстан от 31 марта 2011 года № 128 Об утверждении Правил присвоения ученых званий • * Ученое звание ассоциированного профессора (доцента) присваивается лицам, имеющим ученую степень и работающим в данной организации на полной ставке, при наличии: - не менее 2 (двух) — в международных научных журналах, имеющих по данным информационной базы компании Томсон Рейтер (ISI web of Knowledge, Thomson Reuters) ненулевой импакт-фактор; • * Ученое звание профессора присваивается лицам, имеющим ученую степень и ученое звание доцента или старшего научного сотрудника, ассоциированного профессора и работающим в данной организации, при наличии: - не менее 3 (трех) в международных научных журналах, имеющих по данным информационной базы компании Томсон Рейтер (ISI web of Knowledge, Thomson Reuters) ненулевой импакт-фактор

4. Целевые индикаторы и показателиГосударственной программы РФ «Развитие науки и технологий», утв.Распоряжением ПРФ от 20.12.2012 г., 2433-р • Удельный вес России в общем числе публикаций в мировых научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science); • Число публикаций российских авторов в научных журналах, индексируемых в БД Scopus, в расчете на 100 исследователей; • Число цитирований в расчете на 1 публикацию российских исследователей в научных журналах, индексируемых в базе данных «Сеть науки» (Web of Science); • Удельный вес публикаций в соавторстве с зарубежными учеными в общем числе публикаций российских авторов в научных журналах, индексируемых в базе данных Scopus

5. Интернационализация и распространение результатов научной деятельности • интернационализации и распространения результатов научной деятельности российских исследователей через увеличение к 2015 году доли их публикаций в общем количестве публикаций в мировых научных журналах, индексируемых в базе данных "Сеть науки" (Web of Science), до 2,44 процента. (к 2020 г. – 3%)

6. ОСНОВНЫЕ ИНСТРУМЕНТЫ Базы данных – индексы цитирования • WebofScience - WoS • Scopus Приложения к ним: к WoS: InCites Essential Science Indicator Journal Citations Report к Scopus: SciVal Spotlight (один из 3-х линейки SciVal)

7. Цели применения параметров и индикаторов, предлагаемых наукометрическими базами данных WoSи Scopus • оценка существующих направления развития науки и технологий в национальном и международном масштабах, их динамика (положительная, отрицательная), точек роста, фронтов науки (“Research fronts”), выявление на этой основе новых направлений и т.п. • оценка (экспертиза) предлагаемых учеными проектов, их перспективности, обоснованности, инновационности и т.д. • оценка результативности деятельности научных организаций на национальном и международном уровнях; • выявление и оценка успешности сотрудничества организаций как в рамках конкретных проектов, так и в целом по всем направлениям, выявление успешных проектов организаций, выполняемых совместно как внутри одной страны, так и в международном масштабе;

8. Цели применения параметров и индикаторов (продолжение) • оценка результативности научной деятельности конкретных ученых, выявление наиболее успешных (авторитетных) как по направлениям, конкретным проблемам, так и в рамках одной организации, страны и в международном масштабе; • формирование научных групп для выполнения проектов на национальном или международном уровне; • составление рейтингов организаций и авторов внутри страны; • участие в международных рейтингах; • оценка обоснованности и определение размеров финансовой поддержки научных исследований на различных уровнях на индивидуальном, организационном, региональном, национальном, международном уровнях

9. ИЗ ЧЕГО СОСТОЯТ ИНДЕКСЫ ЦИТИРОВАНИЯ? • Реферативная информация = метаданные о публикациях, в основном, из научных журналов: библиографическое описание статьи (автор, название, источник (журнал), выходные данные: год, том, номер, страницы) + авторское резюме (аннотация, реферат) + ключевые слова • Адресная информация – место работы авторов = организация, город, страна • Пристатейная библиография (списки литературы) = ссылки на использованные в статье источники • Аналитическая часть – статистика по числу публикаций + по числу ссылок на каждую публикацию + рассчитываемые показатели (индекс Хирша, количество ссылок на 1 статью и т.п.) + диаграммы + таблицы + анализ качества журнала + профили авторов + профили организаций + другие данные для анализа

10. Основные абсолютные количественные данные и вычисляемые на их основе показатели в WoSи Scopus • общее число публикаций: по теме, автору или группе авторов, организации, городу, стране, источнику (журналу), году и т.д., а также по сочетанию этих данных и распределением по этим показателям, в зависимости от запроса (WoS, Scopus); • число цитирований отобранных публикаций (по теме, авторам, организациям, журналу и т.д., см. выше) в сумме и с распределением по годам и публикациям (WoS, Scopus) общее, по каждой публикации и с распределением по годам; • число цитирований без самоцитирования (авторов, организаций и т.д.) в сумме, по каждой публикации и с распределением по годам и публикациям (WoS, Scopus) • число публикаций, ссылающихся на полученную подборку (WoS, Scopus); • число публикаций, ссылающихся на полученную подборку, без самоцитирования (WoS, Scopus); • среднее число ссылок на одну статью в подборке (WoS); • - среднее число ссылок в год (WoS); • индекс Хирша публикаций подборки (WoS, Scopus)

11. Основные (базовые) наукометрические показатели • «Журнальные» индексы - показатели качества журналов, вычисляемые по данным о цитируемости их статей, позволяющие ранжировать журналы по предметным областям и определять качество научных публикаций страны, организации, авторов в зависимости от полученных с применением этих показателей оценок публикаций. • «Нежурнальные» индексы: показатели публикационной деятельности ученого, организации, области знаний

12. «Журнальные» показатели • - «импакт-фактор» (ИФ) журнала, вычисляемый по данным WoS, обновляемый ежегодно и публикуемый в аналитическом инструменте к WoS (приложении) Journal Citation Reports (JCR); • - SNIP(Source-Normalized Impact per Paper, Moed H. F.) – показатель, рассчитываемый на основе данных БД Scopus; • – SJR(SCIMago Journal Ranking) – также показатель, рассчитываемый на основе БД Scopus. Показатели SNIPи SJRежегодно публикуются на открытом сайте SCimago Journals Ranking(http://www,scimagojr.com) в системе анализа журналов, включаемых в Scopus

13. «Нежурнальные» индексы • Индекс Хирша • Среднее число цитирований публикаций автора, организации, на статью в журнале

14. Импакт-фактор научного журнала • Импакт-фактор (Impact-Factor, фактор влияния), - наиболее широко применяемый показатель качества опубликованных в журналах результатов научных исследований\ • Предложен создателем Института научной информации США Ю. Гарфилдом в середине ХХ в. • Рассчитывается на основе статистической обработки публикаций в журналах естественнонаучной и общественно-научной тематики, включаемых в базы данных Web ofScience(Science Citation Index (SCI) и Social Science Citation Index (SSCI)). • Для гуманитарных журналов, входящих в БД ArtandHumanitiesCitationIndex (A&HCI) импакт-фактор не рассчитывается • Получаемые в результате расчетов численные показатели импакт-факторов журналов ежегодно публикуются в базе данных JournalCitationReports. .

15. Стандартный расчет импакт-фактора основан на трехлетнем периоде • импакт-фактор журнала в конкретном году рассчитывается как частное от деления числа цитирований в этом году статей, опубликованных в данном журнале в течение двух предыдущих лет, на число статей, опубликованных в данном журнале в течение двух предыдущих лет

16. КРИТИКА ИМПАКТ-ФАКТОРА • различия в периоде наращивания цитирования в различных областях (по годам цитирования, недостаточность 2-х летнего периода); • разные уровень цитирования, следовательно, показатели ИФ для разных областей, что не допускает сравнения ИФ по всем областям

17. График возраста цитирования статей для разных областей знаний

18. 6-ти летний период расчета ИФ • сейчас JCR включает также показатель ИФ, рассчитанный из 6-ти летнего периода (в исследуемом году изучаются ссылки на публикации журнала пятилетнего периода). • шестилетний импакт-фактор лучше отражает различия между журналами в областях с традиционно низким цитированием, связанным со сравнительно короткими списками цитируемой литературы в статьях и, соответственно, недостаточно достоверной статистикой, набираемой за период, используемый для расчета традиционного импакт-фактора

19. Другие показатели, рассчитываемые на основе WoSи включаемые в Journal Citation Reports • ImmediacyIndex- индекс оперативности, показывающий, насколько быстро становятся известны в научном мире статьи, опубликованные в журнале. Индекс оперативности 2011 года вычислен как отношение числа полученных журналом в 2011 году ссылок на статьи, опубликованные в нём в 2011 году, к суммарному числу статей, вышедших в журнале в 2011 году; • EigenfactorMetrics - при расчете этого показателя учитывается не только количество цитирований за 5 лет, но и источник цитирования, при этом самоцитирования (т. е. ссылки в конкретном журнале на статьи в этом же журнале) не учитываются. Таким образом, ссылки в статьях, опубликованных в Nature или Science, оказывают значительно большее влияние на этот показатель, чем ссылки в статьях малозначимого журнала.

20. SJR – SCImago Journal Rankingпо данным Scopus • рейтинг журналов, учитывающий не только общее количество цитирований, но и взвешенные показатели цитирований по годам и качественные показатели, такие как авторитетность ссылок – вес ссылки в журнале Nature на статью в журнале «А» будет отличаться от веса ссылки на ту же статью в журнале «Вестник N-ского университета» • в целом SJR подобен импакт-фактору, привлекает более широким спектром журналов и полностью открытым характером — публикацией в свободном доступе в интернете (http://www.scimagojr.com)

21. SNIP (Source-Normalized Impact per Paper) • Учитывает уровень цитирований в каждой научной области, поэтому может быть использован для сравнения публикаций в разных научных направлениях. Основные особенности расчета; • учитываются ссылки, сделанные в текущем году, на статьи, вышедшие в течение трех предыдущих лет; • вводится специальное определение «индивидуальной области науки» для журнала, или «окружения журнала»: все статьи, опубликованные в текущем году (в любом издании), которые хотя бы однажды цитировали выпуски журнала, вышедшие за последние десять лет; • для определения потенциала цитирования (средняя «длина» списков цитируемой литературы в статьях «окружения») подсчитывается среднее число ссылок в статьях, составляющих «окружение журнала». Но учитываются только те ссылки, которые: • а) ведут на статьи, вышедшие в течение трех предыдущих лет;б) ведут на статьи, имеющиеся в базе данных, по которой идет расчет. • Показатель разработан в Лейденском университете профессором Х. Ф. Моэдом (Moed H. F)..

22. Окончательный расчет показателя SNIP

23. SCImagoInstitutionsRankings (SIR) (открытые данные по Scopus на платформе http://www.scimagojr.com) • Индикаторы, демонстрирующие размер исследований, их глубину, влияние на научный мир и связь с международным научным сообществом: • O::Output - публикации • IC::InternationalCollaboration – доля соавторства в публикациях (статьи, авторы которых работают за рубежом) • NI::NormalizedImpact – процентный показатель цитируемости организации по отношению к общемировому, взятому за 1 (0,7 – цитируемость ниже на 30%, 1,3 – выше на 30% мирового уровня) • Q1::HighQualityPublications – доля публикаций, вышедших в самых важных научных журналах, к которым относятся попавшие в первую квартиль (25%) согласно индексу SCImagoJournalRank SJR indicator. • SI::SpecializationIndex – уровень разброса публикаций, варьируется от 0 до 1 (общее - узкоспециализированное), расчет идет на основании GiniIndex взятого из экономики. • ER::ExcellenceRate уровень превосходства. Какой процент публикаций организации входит в число наиболее цитируемых (10%)

24. Индекс Хиршауниверсальный показатель • Индекс Хирша (h-index) ученого, опубликовавшего N статей, равен h, если: • h его статей получили не менее h цитирований, остальные N–h его статей получили не более h цитирований. • Индекс Хирша является количественной характеристикой продуктивности учёного, организации, публикаций по предметной области ; он представлен в реферативных базах данных Scopus и Web of Science. • В профиле ученого в Scopus он дается в расчете на весь период научной деятельности ученого (по всей хронологии публикаций). • Рассчитывается на любую подборку публикаций, в т.ч. для журналов

25. Достоинства индекса Хирша • он будет одинаково низким как для автора одной сверхпопулярной статьи, так и для автора множества работ, процитированных не более одного раза; • позволяет отсеивать т. н. "случайных соавторов"; • будет высоким лишь для тех, у кого достаточно публикаций, и все они (или, по крайней мере, многие из них) достаточно востребованы, т. е. часто цитируются другими исследователями

26. Критика индекса Хирша • иногда даёт неверную оценку значимости исследователя. Например, короткая карьера учёного приводит к недооценке его работ; • значение показателя существенно зависит от области науки. В биологии и медицине h-индекс намного выше, чем в физике или химии; • не позволяет учитывать единичные высоко цитируемые статьи автора, если все остальные не являются таковыми (например, одна статья, которая получила 200 ссылок не будет учтена как высоко цитируемая, а будет приравнена к публикациям который входят в эту формулу

27. EssentialScienceIndicators • ESI – приложение к WoS, где представлены статистические данные за последние 10 лет по областям знаний, странам, организациям. Нормируя конкретные данные по цитируемости статей отдельного ученого или организации в конкретной области знаний на среднестатистические данные, приведенные в ESI, можно оценить уровень ученого или организации в конкретной научной области по сравнению с мировыми данными или данными по стране

28. Параметры и индикаторыв WoSдля оценки результативности науки (приводятся в InCites) • - количество опубликованных статей: является показателем продуктивности учёного, группы учёных или организации; • - суммарный объём цитирования: является показателем авторитетности или влиятельности учёного, группы учёных или организации; • - индекс Хирша: количество статей N, собравших как минимум N ссылок – рассчитывается для автора, группы авторов или организации в целом; • - среднее цитирование: является показателем эффективности исследований, однако средние уровни цитирования различаются для в разных предметных областей, для решения этой проблемы существует показатель, приведённый ниже; • - нормализованное цитирование по предметной области: цитирование статьи делится на цитирование всех статей того же типа (оригинальное исследование, обзорная статья и т.д.), опубликованных в этой же предметной области в том же году. • - перцентили: процент наиболее цитируемых работ в данной предметной области, в которую попадает конкретная статья или группа статей. • (рассчитывемых на основе данных и функциональных возможностей инструмента InCites:

29. Метрики по цитированию вWoS(Citation Metrics в приложении InCites) (в скобках приведены данные отчета по России) • - общее число цитирований (3596001) с переходом на список цитируемых публикаций в WoS; • - общее число документов (628953); • - среднее число цитирований на документ (5,72); • - процент цитируемых документов (56%); • - h-индекс (343)

30. Коллаборационныеметрики в InCites (по данным WoS) • - число уникальных авторов (577540); • - среднее число авторов на документ (7,6).

31. ПОКАЗАТЕЛИ ДЛЯ СРАВНЕНИЯ СТРАН И ОРГАНИЗАЦИЙ • число документов страны (организации) в WoS, всего ; • число цитирований, всего; • среднее число цитирований одного документа; • процент цитируемых документов; • влияние (импакт), оказываемый на мировую науку; • процент цитируемых документов в сравнении с мировым показателем документов; • процент цитируемых документов в отношении ко всем цитируемым документам в мире; • агрегированный показатель влияния (представительности) страны (организации)

32. Определение места страны в рейтинге стран по SciVal Spotlight кБД Scopus (20 стран мира и отдельно – страны Европы, Россия – на 16-м месте) используются следующие показатели: • общее число публикаций; • динамики роста или падения публикаций (Россия показала рост – 4,54%); • распределения публикаций по секторам науки (академический, государственный, промышленный); • сумма ссылок на публикации за 5 лет; • среднее число ссылок на статью, опубликованную за 5 лет (СРА); • показатель «современного состояния страны», оцениваемое по показателю среднего цитирования по стране относительно этого же показателя по всем странам (Stateoftheart – SotA)).

33. SciVal Spotlight кБД Scopus При определении организации в рейтинге организаций страны приводятся следующие показатели: • - общее число статей; • - показатель роста публикационной активности или падения; • - процент публикаций в компетенциях; • - процент совместных публикаций (показатель коллаборативности): всего, национальная, международная; • - всего ссылок на публикации ученых организации; • - среднее число ссылок на статью, опубликованную за 5 лет; • - показатель современного состояния организации

34. Средняя цитируемость публикаций • общее количество ссылок на статьи ученого (организации, страны) , деленное на общее количество статей. Средняя цитируемость может определяться по любой подборке, полученной по основного массиву WoS или в Scopus. В WoS ‘рассчитывается автоматически по каждой выдаче и приводится в «Обзоре цитирования».

35. Анализ публикаций в Scopus

36. Представление данных в SciVal Spotlight (Scopus)

37. Представление данных о публикациях и их цитировании (отчет о цитировании) в Web of Science

38. Раздел «Обзор цитирования» в Scopus

39. Данные об импакт-факторе журнала по предметной области в Journal Citation Reports (JCR, WoS)

40. Данные в системе InCites (сравнение стран)

41. РЕЗЮМЕ • все перечисленные показатели являются статистическими и не могут отражать качество какой-либо отдельно взятой статьи или однозначно характеризовать уровень конкретного ученого; • высокое количество цитирований может означать как очень высокий уровень представленных в статье результатов, так и наличие в статье грубейших ошибок

42. Наукометрические показатели в международных рейтингах • Times Higher Education World University Rankings (далее, коротко Times) из 13-ти учитываемых показателей, к наукометрическим относит 2 показателя, рассчитываемого с учетом массива WoS: • – средняя цитируемость публикаций, нормализованная относительно разных областей исследований (32,5% вклада в общую оценку); • - среднее количество опубликованных статей в расчете на одного (научного) сотрудника организации (4,5%).

43. Опосредованный наукометрический показатель в THEWUR • создается на основе опроса ученых в конкретных областях, проводимого Thomson Reuters, касающегося научной репутации ученого • зарубежные эксперты при рассмотрении этого показателя также учитывают публикационную активность и цитируемость ученого по WoS • этот показатель также относится к наиболее весомым по вкладу в общую оценку и составляет 19,5% • таким образом, наукометрические показатели составляют большую часть вклада в общую оценку организации в рейтинге Times (56,5%).

44. Шанхайский рейтинг • Академический рейтинг университетов мира (ARWU) учитывает: • - «часто цитируемых исследователей в 21 категории» (20%) ( т.е., как можно понять, по WoS – число часто цитируемых ученых; • - индексы цитирования для естественных и гуманитарных наук Института научной информации США, т.е. по WoS (20%).

45. Рейтинг Quacquarelli Symonds(QS World University Rankings) • аналогичный Шанхайскому, но рассчитываемый по данным Scopus; учитывает уровень цитируемости публикаций сотрудников университета (в расчете на факультет) (CITATIONS PER FACULTY) (20%).

46. Спасибо за внимание! Выражаю благодарность Ольге Васильевне Москалевой, начальнику управления НИР СПбГУ за предоставленные материалы, частично использованные в презентации