.
Национальный информационный центр по науке и инновациям
11.01.2009

Оценку эффективности российских фундаментальных учёных следует скорректировать
Александр Варшавский(ЦЭМИ РАН), Валентина Маркусова (ВИНИТИ РАН)

В последнее время при оценке результативности российской науки, в том числе академической, используются прежде всего показатели количества научных публикаций и их цитируемости, на основании которых делается вывод о низком месте России в рейтинге мировой науки. К сожалению, данные о средней цитируемости одной статьи, приводимые в выступлениях официальных лиц с целью доказательства этой позиции, малозначимы и иногда ошибочны (например, при сопоставлении показателей цитируемости РАН и МГУ), считают Александр Варшавский из ЦЭМИ РАН и Валентина Маркусова из ВИНИТИ РАН и предлагают оценивать количество статей и ссылок из расчёта на одного исследователя, а также затрат на НИОКР. Справка STRF.ru:
Варшавский Александр Евгеньевич, заведующий лабораторией Центрального экономико-математического института (ЦЭМИ) РАН, доктор экономических наук, профессор
Маркусова Валентина Александровна, заведующая отделением Всероссийского института научной и технической информации (ВИНИТИ) РАН, доктор педагогических наук

В предлагаемой статье рассчитаны показатели количества статей и ссылок на одного исследователя (по числу исследователей и среднему для стран с переходной экономикой коэффициенту полной занятости), а также на один миллион долларов затрат на НИОКР, по ППС за период 1996—2005 годов для России, стран ОЭСР и ряда других государств, а также для РАН и Национального центра научных исследований Франции (CNRS). Результаты расчётов свидетельствуют, что показатели для РАН соответствуют уровню наиболее развитых стран и значительно превышают показатели для России в целом. Представлены также рекомендации по корректному использованию библиометрических показателей для оценки результативности исследователей в России.

Уточнённые оценки результативности научной деятельности по показателям цитирования

При использовании показателей количества научных публикаций и цитирования необходимо принимать во внимание следующее:

  • Россия как самостоятельное государство учитывается в зарубежной базе данных научных публикаций (БД ISI) лишь с 1993 года, а процесс цитирования является кумулятивным;
  • в 2002—2006 годы наблюдалcя неуклонный рост цитируемости статей отечественных учёных (на 50,7 процентов) по сравнению с 1996—2000 годами, хотя при этом показатель научной продуктивности (количество опубликованных статей) снизился на 8,4 процентов;
  • в 2000—2006 годах около 50 процентов статей отечественных авторов было опубликовано в наиболее престижных иностранных научных журналах, что свидетельствует о высоком уровне науки России и её интеграции в мировую науку (данные анализа количества российских статей в БД SCI и БД JCR);
  • показатели по России в целом автоматически переносятся на РАН (несмотря на то, что основная доля научного персонала и затрат на науку приходится на отраслевой сектор науки);
  • показатели количества научных публикаций и цитируемости не соотносятся с уровнем затрат на науку (хотя ранее ЦЭМИ РАН разработал соответствующую методику, расчёты по которой показывают истинное место России среди развитых стран) [1, 2];
  • имеются методические погрешности в оценке числа исследователей (так, используемая Минобрнауки численность исследователей России при расчёте по полной занятости «full-time equivalent» почему-то превышают номинальную численность исследователей «by heads» в 1,2 раза, тогда как у всех стран имеется обратное соотношение, в частности у стран с переходной экономикой этот показатель не выше, а ниже почти в 1,7 раза); методические погрешности, приводящие к значительным ошибкам в выводах, характерны и для зарубежных исследователей — так, в работе [3] приведены данные якобы по числу исследователей на одну статью (в соответствии с этими данными у России показатель хуже, чем у большинства других стран), а на самом деле учитываются занятые в сфере НИОКР, — при соответствующей коррекции этих результатов число исследователей в России в расчёте на одну статью, по нашим оценкам, оказывается ниже (8,4), чем в Китае (9,1), и лишь немногим выше, чем в Японии (7,0).

Для России, стран ОЭСР и ряда других государств, а также для РАН и Национального центра научных исследований Франции [4] нами были рассчитаны следующие показатели:

  • количество статей и ссылок на одного исследователя за 1996—2005годы при расчёте по числу исследователей и, что более точно, с использованием среднего для стран с переходной экономикой коэффициента полной занятости;
  • количество статей и ссылок в 1996—2005 годы из расчёта затрат на НИОКР в размере одного миллиона долларов США, 2004 год по паритету покупательной способности (ППС).

В таблицах 15 приведены результаты проведённых расчётов.

Их анализ показывает, что количество статей на одного исследователя в России примерно такое же, как и в Японии, тогда как показатель для РАН очень близок к показателю для США и других наиболее развитых стран (табл. 1). По количеству ссылок показатель для нашей страны значительно хуже (табл. 2). Для РАН этот показатель значительно выше и примерно соответствует показателю для очень близкого ей по структуре Национального центра научных исследований Франции.

Однако значительно более важными представляются те же показатели количества статей и ссылок в расчёте на миллион долларов затрат на НИОКР по паритету покупательной способности. Целесообразно отметить, что стоимостные показатели в последнее время начинают использоваться не только у нас в стране, но и за рубежом. Так, в работе [5] приведён график зависимости показателя интенсивности цитируемости (число ссылок в расчёте на единицу ВВП) от ВВП на душу населения, из которого видно, что значение этого показателя для России находится выше средней кривой, проведённой для всех стран. В работе [6] показано, что если построить график числа исследователей в расчёте на миллион человек населения в зависимости от доли затрат на НИОКР в ВВП, то значение данного показателя для России будет находиться непосредственно на линии регрессии, то есть в настоящее время количество исследователей в России относительно численности населения соответствует общемировой норме, а не значительно её превышает, как это представляется некоторым исследователям, ориентирующимся на данные для СССР (оценки проведены по эквиваленту полной занятости, рассчитанному в соответствии с методикой автора цитируемой работы).

Справка STRF.ru
Средние показатели цитируемости
Среднее число ссылок на одного автора в БД SCI в 2000 году составляло 10,08, а среднее число ссылок на одну статью — 2,26. При этом среднее количество ссылок, содержащихся в одной статье, составляло 28,52, тогда как в российских публикациях в среднем насчитывается не более шести-восьми ссылок, а многие научные журналы, входящие в список ВАК, публикуют часть статей вообще без списка цитируемой литературы (по данным Указателя РФФИ, одна публикация содержит 13,9 ссылок, то есть в два раза меньше, чем в среднем в статьях базы данных SCI)

В таблице 3 приведены данные о количестве статей в расчёте на миллион долларов затрат на НИОКР. Россия по этому показателю занимает 22 место (среди 34 стран, а также с учётом стран ОЭСР в целом, РАН и Национального центра научных исследований Франции), опережая большинство наиболее развитых стран. Особенно следует подчеркнуть первое место РАН, которая по этому показателю значительно опережает всех, кто следует за ней.

По количеству статей в расчёте на миллион долларов затрат на НИОКР место России значительно ниже (табл. 4), хотя она опережает Японию и Китай. По-видимому, то, что эти страны замыкают список, объясняется главным образом проблемами перевода статей учёных из этих стран на английский язык.

Таблица 1. Количество статей на одного исследователя, 1996—2005 годы
Страны Количество статей Ранг (32 страны и OЭСР)
Китай

0,41

33

Россия:

- при расчёте по ошибочному показателю полной занятости

- при расчёте по числу исследователей

- при расчёте с использованием среднего для стран с переходной экономикой
коэффициента полной занятости

0,57

0,68

1,05

32

Япония

1,11

30

РАН (расчёт по числу исследователей)

2,00

Между 25 и 24

США

2,17

24

ОЭСР, всего

2,41

23

Германия

2,65

20

Франция

2,71

18

РАН (расчёт с использованием среднего для стран с переходной экономикой
коэффициента полной занятости)

3,08

Между 13 и 12

Канада

3,28

9

Национальный центр научных исследований Франции

3,85

Между 6 и 5

Италия

4,86

3

Великобритания

4,87

4



Таблица 2. Количество ссылок на одного исследователя, 1996—2005 годы
Страны Количество ссылок Ранг (32 страны и ОЭСР)
Китай

1,43

33

Россия:

- при расчёте по ошибочному показателю полной занятости

- при расчёте по числу исследователей

- при расчёте с использованием среднего для стран с переходной экономикой коэффициента полной занятости

2,00

2,38

3,66

32

РАН (расчёт по числу исследователей)

7,64

Между 31 и 30

Япония

8,72

29

РАН (расчёт с использованием среднего для стран с переходной экономикой коэффициента полной занятости)

11,75

Между 25 и 24

Национальный центр научных исследований Франции (расчёт по числу исследователей)

13,93

Между 24 и 23

OЭСР, всего

25,55

13

Франция

25,92

12

Германия

26,44

11

США

28,02

10

Канада

34,70

8

Италия

43,97

4

Великобритания

54,63

3



Таблица 3. Количество статей в 1996—2005 годах на миллион долларов затрат на НИОКР,
2004 год по ППС

Страны

Количество статей

Ранг (34 страны, OЭСР, РАН и Национальный центр научных исследований Франции)

Китай

3,7

37

Япония

6,6

36

США

8,8

33

OЭСР, всего

11,9

32

Германия

11,9

31

Франция

12,7

29

Россия

16,6

22

Национальный центр научных исследований Франции

16,9

21

Канада

19,1

16

Италия

19,5

15

Великобритания

22,8

12

РАН

70,7

1



Таблица 4. Количество ссылок в 1996—2005 годы на миллион долларов затрат на НИОКР,
2004 год по ППС
Страны Количество ссылок Ранг (34 страны, OЭСР, РАН и Национальный центр научных исследований Франции)
Китай

12,9

37

Япония

52,2

34

Россия

58,1

33

США

113,1

27

Германия

119,3

26

Франция

121,6

25

ОЭСР, всего

125,8

23

Италия

177,0

15

Национальный центр научных исследований Франции

184,9

13

Канада

202,2

11

Великобритания

255,5

5

РАН

269,5

4

Факторы, влияющие на показатели вклада РАН в мировую науку

Следует также подчеркнуть, что показатели для РАН в целом (они сведены в табл. 5) соответствуют уровню наиболее развитых стран и значительно превышают показатели для России в целом. В 1996—2007 годы на долю РАН приходилось около 45 процентов всех российских публикаций и более 49 процентов ссылок. В этот период по количеству опубликованных статей РАН занимала среди научных организаций высшего уровня (учёные этих организаций опубликовали один процент наиболее цитируемых в мире научных статей): первое место в области физики, химии и наук о Земле; второе место — в области математики и материаловедения. По показателю цитируемости РАН занимала пятое место по физике и седьмое по химии (Россия — 18 место), одиннадцатое по материаловедению, двенадцатое по наукам о Земле.

Справка STRF.ru
Импакт-фактор
Важным показателем информационной значимости публикаций является импакт-фактор журнала, в котором они опубликованы. При выполнении оценок с его использованием в России нужно помнить, что отечественные журналы имеют значительно более низкие импакт-факторы по сравнению с зарубежными. Импакт-фактор журнала вычисляется ежегодно как отношение количества библиографических ссылок в текущем году (например, в 2005 году), сделанных другими журналами на опубликованные данным журналом статьи за два предшествующих года (2003 и 2004 годы), к общему числу опубликованных данным журналом статей за эти же два года (2003 и 2004 годы). Следует учитывать длительный срок хранения статей в портфелях редакций отечественных журналов, зачастую более года. Если статья пролежит год в портфеле редакции, то ссылка реально появится только через два-три года после написания; как уже отмечалось, импакт-фактор вычисляется по публикациям за двухлетний период

В БД ESI РАН занимает 47-ое место среди 3700 упомянутых ранее организаций высшего уровня. Однако последовательный просмотр вручную 1055 статей позволил нам выявить дополнительно 475 высокоцитируемых статей, опубликованных сотрудниками РАН. В результате доля РАН в массиве наиболее цитируемых отечественных статей составила 74,9 процентов. Если добавить к общему количеству ссылок на работы, выполненные в РАН, 107063 ссылок на эти дополнительные 475 статей, то по цитируемости (583053 ссылок), в списке научных организаций высшего уровня РАН переместится с 47-го на 32-е место.

Тем не менее проведённый анализ причин и факторов, приводящих к относительно более низким показателям результативности РАН на основании данных о цитируемости отечественных статей, показал, что важнейшими из них являются следующие:

  • низкий уровень финансирования российской науки по сравнению с другими странами;
  • средняя цитируемость статьи на английском языке в несколько раз выше, чем у статей, опубликованных на русском, немецком, французском и японском языках;
  • незначительный охват отечественный периодики в БД SCI;
  • отсутствие в России единой базы данных по научным публикациям отечественных исследователей (в отличие от нашей страны, в Испании, странах Латинской Америки, Японии и даже в англоязычной Австралии имеются собственные национальные базы данных; в Китае для оценки научной активности университетов и научных учреждений в 1999 году был создан Указатель цитированной литературы и сформирована специализированная база данных по показателям развития науки и техники, — этот проект финансировал Национальный научный фонд по естественным наукам Китая);
  • более длительные сроки хранения отечественных публикаций в портфелях редакций журналов, существующие редакционные ограничения на количество цитируемой литературы, традиция цитировать в первую очередь зарубежные работы;
  • отсутствие знания русского языка у зарубежных учёных и вследствие этого слабое представление о российских публикациях, даже если они были опубликованы в английском варианте российского журнала; иная культура цитирования в нашей стране — отечественные публикации содержат в два-три раза меньше ссылок, чем публикации учёных из других стран [7];
  • поиск в БД SCI по географическому признаку и подсчёт публикаций по адресу автора, хотя российские авторы нередко не указывают принадлежности к РАН (такие публикации оцениваются во вкладе России, но не отражают вклад РАН); то же относится к тем учёным, которые стажируются за рубежом;
  • использование неверной методологии для межстрановых сопоставлений результативности.


Таблица. 5. Показатели для РАН: количество статей и ссылок на одного исследователя за 1996—2005 годы при расчёте по числу исследователей, и количество статей и ссылок за 1996—2005 годы на один миллион долларов затрат на НИОКР, 2004 год по ППС (сводные результаты расчёта)
Количество статей на одного исследователя за 1996—2005 годы, см. таблицу 2

2,00

при расчёте по номинальному числу исследователей (25—24 место среди 32 стран и OЭСР, вслед за США и выше, чем у Японии, Южной Кореи, Финляндии и др.)

 

3,08

при расчёте с использованием среднего для стран с переходной экономикой коэффициента полной занятости (13—12 место среди 32 стран и OЭСР, значительно выше США, Франции, Германии, но ниже, чем у Национального центра научных исследований Франции)

Количество ссылок на одного исследователя за 1996—2005 годы, см. таблицу 3

7,64

при расчёте по номинальному числу исследователей (31—30 место среди 32 стран и OЭСР, на уровне Тайваня и Южной Кореи, выше, чем у России в целом и Китая)

 

11,75

при расчёте с использованием среднего для стран с переходной экономикой коэффициента полной занятости (25—26 место среди 32 стран и ОЭСР, значительно выше Японии, близко к Национальному центру научных исследований Франции)

Количество статей за 1996—2005 годы на один милион долларов затрат на НИОКР, 2004 год по ППС, см. таблицу 4

70,7

1 место среди 34 стран, ОЭСР, РАН и Национального центра научных исследований Франции

значительно выше, чем у других стран и Национального центра научных исследований Франции

Количество ссылок за 1996—2005 годы на один милион долларов затрат на НИОКР, 2004 год по ППС, см. таблицу 5

269,5

4 место среди 34 стран, ОЭСР, РАН и Национального центра научных исследований Франции;

выше в два раза и более, чем у наиболее развитых стран; выше, чем у Национального центра научных исследований Франции

Предложения

Для оценки показателей результативности академического сектора науки России необходимо использовать разработанную в ЦЭМИ РАН методологию оценки.

Необходимо создание и ведение российской базы данных о научных публикациях отечественных авторов под методическим руководством РАН и с использованием информации по научным публикациям, содержащейся в Указателе БД РФФИ.

Редакционные коллегии научных журналов должны уделять особое внимание указанию в статьях адресов институтов, в которых работают авторы, и их принадлежности к РАН, а также наличию в статьях научных ссылок и цитируемости не только зарубежной, но и отечественной литературы.

Целесообразно значительно расширить сеть англоязычных версий академических журналов. Необходимо также своевременно отправлять в ISI все англоязычные версии журналов, издаваемых издательством «Наука».

Целесообразно составить для авторов научных работ перечень требований по оформлению статей. Следует также обучать студентов и аспирантов работе с научной литературой и базами данных, этике цитирования.

Источники информации:

  1. По показателям цитируемости — база данных (БД) Web of Knowledge, составной частью которой является Указатель научных ссылок — Science Citation Index (SCI), Expanded и Social SCI-Expanded — содержит ежегодные сведения о 1,1 миллионе научных публикаций и 23 миллионах ссылок из 8700 лучших научных журналов мира (включая журналы по общественным наукам, литературе и искусству). Эти базы данных отражают в подавляющем большинстве англоязычные журналы (только два процента статей опубликованы не на английском языке), в том числе около 100 наименований отечественных научных журналов (примерно 10 процентов от общего количества научных журналов, включённых в список ВАК). Поэтому реальный вклад российской науки в мировую значительно занижен. При проведении оценок нужно учитывать, что сведения о цитируемости относятся только к открытым публикациям, в основном в области фундаментальных исследований; совершенно иные оценки должны быть использованы в оборонных отраслях.
  2. По экономическим показателям — данные ОЭСР, EC и др.

Цитируемые работы:

  1. См. Инновационный менеджмент в России (проблемы стратегического управления и научно-технологической безопасности)/ Руководители автор. колл. Макаров В.Л., Варшавский А.Е., М.: Наука, 2004.
  2. Варшавский А.Е. Реальная результативность российской науки// Концепции. 2005. №1 (15), C. 21—36.
  3. Research Trends, Scopus, 2008, November, http://www.info.scopus.com/researchtrends/cou_tre_8.html
  4. http://esi1.isiknowledge.com/rankdatapage.cgi
  5. King D. The scientific impact of nations. Nature 430, P. 311—316 (15 July 2004).
  6. Варшавский А.Е. Экономические проблемы разработки научно-технической и инновационной политики России в условиях глобализации// Концепции, 2008, № 2 (21).
  7. Garfield E. Uses and Misuses of Citation Frequency // Essays of an Information Scientist. — 1985. — Vol. 8. — Р.