Bibliometric indexes and expert evaluations: how to assess the results of scientific activity

Научная деятельность во все времена имела важное значение для человечества. В современном мире научные исследования играют огромную, все возрастающую роль и определяют прогресс человечества, давая ему шанс на решение стоящих перед ним сложных проблем – от роста народонаселения до защиты окружающей среды и победы над терроризмом. Поэтому большинство стран мира вынуждено поддерживать науку. При этом чиновники, осуществляющие эту поддержку, стремятся к контролю эффекта финансовых вложений государства в науку. А для этого им необходима оценка качества научных исследований. Оценка качества научных исследований (в простейшем виде экспертных оценок) появилась в мире давно, практически одновременно с возникновением науки, т.е. ей уже скоро 4000 лет! Однако такая, сугубо качественная оценка не устраивает современных чиновников, поскольку она не согласуется с современной, сугубо количественной системой финансовой поддержкой науки. Суть позиции чиновников предельно ясно изложена в известном докладе английского правительства 2007 г. ^[1]: «Правительство намерено заменить нынешний метод определения качества научных исследований. В центре внимания новой системы будут подсчеты, а не экспертные оценки. Ожидается, что основной индекс качества в этой системе будет библиометрическим (использующим подсчет журнальных статей и их цитирований)». Мысль здесь простая: научные исследования слишком важны, чтобы можно было верить их субъективным оценкам, сделанным экспертами. Подсчеты, основанные на публикациях и их цитировании, устраняют неясности, свойственные субъективным экспертным оценкам, и дают независимые от человека результаты, свободные от систематических ошибок. Это позволяет, по мнению чиновников, более объективно сравнивать и ранжировать любые составляющие научных исследований – журналы, статьи, авторов, научные учреждения, дисциплины и т.д. Соответствующий подход к оценке качества научных исследований с середины 2000-х годов стал внедряться во всех странах мира. Однако вскоре научная общественность забила тревогу. Инициаторами выступили международные математические организации, уже в 2008 г. опубликовавшие специальный отчет о возможностях использования библиометрических показателей для объективной оценки качества научных исследований ^[2]. Авторы этого отчета, на основе проведенных исследований, пришли к выводам:

1. Объективность и точность библиометрических показателей достаточно иллюзорны. Известно, что статистические показатели обманывают, если их использовать неправильно. Библиометрические показатели, являясь разновидностью статистических показателей, не составляют исключения. Поэтому использование библиометрических показателей приводит нередко к ложным оценкам научных исследований из-за неверного использования статистических данных.

2. Применение только библиометрических показателей, основанных на публикациях и их цитированиях, лишь заменяет один вид субъективных оценок (экспертные оценки) другим их видом (субъективная интерпретация смысла публикаций и их цитирования). При этом остается непонятным, увеличивается ли фактически объективность и точность оценки при такой замене.

3. Библиометрические показатели, как и любые статистики, дают лишь ограниченную информацию о количественных значениях характеристик изучаемого объекта (в данном случае – научного исследования). Однако цель изучения любого объекта заключается не в определении его характеристик, а в понимании происходящих в объекте процессов.

4. Чиновники, как правило, склонны при оценке исследований ограничиваться минимальным числом (еще лучше – одним числом) простейших показателей публикаций и их цитирований, позволяющих упорядочить все публикации, их авторов, научные учреждения и т.д. Между тем, научное исследование обычно имеет несколько целей, так что его результативность неизбежно характеризуется несколькими показателями. С другой стороны, результативность самих исследователей характеризуется не только количеством публикаций и цитирований, но и числом приглашений, числом проведенных конференций, членством в редколлегиях журналов, количеством наград и т.д. Так что упорядочение научных исследований и их авторов является непростой задачей и не всегда возможно.

5. Традиции публикаций и их цитирования в различных дисциплинах различны. Это делает несравнимыми достижения ученых, работающих в различных науках, и открывает простор злоупотреблениям чиновников в отношении ученых, библиометрические показатели которых по объективным причинам не являются слишком высокими.

После публикации отчета ^[2] развитые в научном отношении страны пересмотрели свое отношение к библиометрическому измерению науки и существенно ограничили использование библиометрических показателей в принятии решений, касающихся науки. Особенно далеко продвинулась Великобритания, где в 2013 году, после длительного общественного обсуждения, использование библиометрики в качестве основного метода оценки научной деятельности было запрещено и заменено экспертной оценкой ^[3]. Библиометрические данные разрешили использовать (как вспомогательное средство) лишь в 11 из 36 имеющихся дисциплин (биология, медицина, науки о Земле, физика, химия, экономика и др.) и полностью запретили в 25 дисциплинах (все гуманитарные науки, все инженерные науки, математика, механика). Также для всех дисциплин было запрещено использовать любые рейтинги журналов, в которых опубликованы научные работы, в первую очередь, импакт-фактор журнала. Однако другие страны на официальном уровне не среагировали на указанный отчет или не заметили его. К сожалению, среди этих стран оказалась и Россия. Поведение российского Правительства и нашего Минобрнауки ставит научно-педагогическую общественность России в трудное положение. С одной стороны, ей нужно самоопределиться в вопросах оценки результатов научных исследований, выработав объективные и приемлемые для всех членов сообщества критерии и методы этой оценки, что очень непросто ввиду отсутствия в России представительной и независимой общественной организации ученых и преподавателей высшей школы. С другой стороны, она просто обязана донести выработанную позицию до Минобрнауки РФ и побудить его учитывать эту позицию при выработке государственной научно-образовательной политики, что тоже не просто.

В настоящей статье содержится попытка нащупать основы возможной позиции научно-педагогического сообщества по вопросам оценки результатов научных исследований, приемлемой как для большинства членов этого сообщества, так и для Минобрнауки.

Целью нашего исследования является обстоятельное рассмотрение и детальный анализ по возможности всех известных в настоящее время количественных и качественных показателей результатов научной деятельности и методов получения значений этих показателей. При этом ставятся конкретные задачи:

1. Выявить достоинства и недостатки каждого показателя результатов научной деятельности.

2. Определить пригодность каждого показателя в качестве основного показателя результатов научной деятельности.

3. Выяснить пригодность каждого из показателей в качестве вспомогательного показателя результатов научной деятельности, дополняющего некоторый объективный основной показатель.

4. Предложить алгоритм оценки результатов научной деятельности с помощью выбранных основных и вспомогательных показателей.

При решении поставленных задач мы будем рассматривать и анализировать существующие показатели результатов научной деятельности по определенным тематическим группам в следующей последовательности.

1. Универсальные показатели (количество изданных монографий с авторством ученого; количество опубликованных статей; количество ссылок на изданные научные работы (цитируемость работ); комплексные показатели, учитывающие совместно количество публикаций и их цитируемость (индекс Хирша); рейтинги журналов, в которых изданы статьи (импакт-фактор журнала)).

2. Неуниверсальные показатели (количество проведенных конференций (в качестве председателя оргкомитета) с изданием трудов; количество изданных статей, индексируемых в известных базах данных (Scopus, Web of Science, РИНЦ, Springer и т.д.) или рекомендованных перечнях (ВАК); количество изданных учебных пособий для студентов и аспирантов; число защитивших кандидатскую или докторскую диссертацию под руководством ученого; число конференций, симпозиумов, семинаров, на которых ученым было принято участие с докладом; количество плагиат-публикаций, заимствованных из работ ученого).

3. Показатели результатов научной деятельности, выполняемой по приглашению (количество соучастий в общегосударственных и международных программах; количество пленарных докладов на всероссийских и международных конференциях; количество прочитанных курсов в качестве приглашенного профессора; количество прооппонированных диссертаций; количество выполненных рецензий на чужие работы – статьи, авторефераты диссертаций, заявки на гранты, выполненные проекты и т.д.).

4. Показатели, характеризующие общее признание ученого (положительные рецензии на работы ученого, членство в редколлегиях научных журналов; членство в тематических государственных советах, диссертационных советах, в ученых советах университетов; членство в оргкомитетах и программных комитетах всероссийских и международных конференций; членство в национальных и общественных Академиях наук; награды, премии и почетные звания; репутаций среди коллег – членов данной референтной группы).

5. Показатели, характеризующие финансовую составляющую деятельности ученого (количество выигранных грантов и объем финансирования по ним; количество заключенных договоров на проведение научных исследований по заданной теме и объем финансирования по ним; размер постоянной заработной платы ученого в его университете или научном институте).

6. Интегральные показатели результатов научной деятельности, характеризующие совокупность всех составляющих деятельности ученого (комплексная оценка совокупных достижений ученого или оценка достижений по отдельности группой приглашенных независимых экспертов).

К числу универсальных показателей результатов научной деятельности мы отнесем показатели, которые, по мнению их создателей или по мнению какой-то части научного сообщества, напрямую связаны с научной деятельностью и поэтому содержат некоторую оценочную информацию о ее результатах. Ниже рассмотрим и проанализируем те универсальные показатели, которые были указаны в § 2. Все они являются библиометрическими, т.е. связанными с публикациями и их цитированием.

1) Количество монографий, изданных научным работником за некоторое установленное время (например, за 10 лет). Данный показатель представляется разумным и адекватным измерителем качества результата, полученного после проведенного научного исследования, исходя из кажущегося очевидным положения: чем больше издано монографий, тем больше было достижений в проведенном исследовании, на основе которого писались монографии. Достоинством показателя является простота его определения и подсчета. К сожалению, у данного показателя имеется много недостатков. Во-первых, кажущееся очевидным положение, лежащее в основе показателя, не всегда выполняется. Например, все монографии, написанные на основе одного проведенного исследования, могут излагать одни и те же достижения этого исследования, но освещенные с различных позиций, либо могут быть вообще копиями одной и той же книги, различающиеся только названием. В таких случаях проведенное исследование получит по данному показателю незаслуженно высокую оценку. Во-вторых, поскольку написание монографии представляет собой гораздо более трудную работу, нежели написание статьи, многие научные работники после выполнения исследования предпочитают писать и издавать большое количество статей, а не монографии. В подобных случаях проведенное исследование получает по этому показателю (монографии) незаслуженно низкую оценку. В-третьих, большинство популярных баз данных, как зарубежных, так и российских, практически не регистрируют монографии, предпочитая работать лишь с журнальными статьями. В этих условиях иногда возникает явно абсурдная ситуация, когда, например, автор 10 опубликованных монографий по показателю «число публикаций» оценивается ниже, чем автор 10 опубликованных статей только потому, что, в отличие от статей, не все монографии были зарегистрированы в базах данных. Вследствие указанных недостатков библиометрический показатель «количество изданных монографий» не может быть принят в качестве основного показателя результатов научной деятельности. Однако он может быть принят в качестве вспомогательного показателя научной деятельности дополняющего некоторый основной показатель.

2) Количество статей, изданных научным работником за некоторое время (например, за год). Этот показатель, как и количество изданных монографий, кажется разумным и адекватным измерителем качества научного результата, полученного в итоге проведенного исследования, положенного в основу статей. И основание здесь то же самое: чем больше издано статей, тем, очевидно, больше достижений было получено в проведенном исследовании. Показатель «количество изданных статей», как и показатель «количество изданных монографий», просто определяется и подсчитывается, и в этом его основное достоинство. Однако у этого показателя много недостатков. Прежде всего, изложение, служащее его основанием, далеко не всегда выполняется. Например, большое число статей может быть не следствием большого числа научных достижений, а, например, результатом амбициозных устремлений автора или его большой писучести или его неумения компактно излагать свои мысли или его близости к главному редактору журнала и т.д. В этих случаях исследования автора имеют незаслуженно высокую оценку по данному показателю. С другой стороны, автор может иметь мало статей, при большом числе научных достижений, из-за его неприязни к «бумагомаранию», привязанности к определенным журналам без учета их зарегистрированности в популярных базах данных, умения сжато, в немногих статьях изложить суть проведенного исследования, незнакомства с главными редакторами журналов и т.д. В таких случаях исследования автора получают незаслуженную низкую оценку по этому показателю. Таким образом, из-за перечисленных недостатков показатель «количество изданных статей» также не может быть принят за основной показатель результатов научной деятельности, хотя и может учитываться как вспомогательный показатель научной деятельности, дополняющий некоторый основной показатель.

3) Количество ссылок на изданные научные работы за некоторое установленное время (например, за год). Этот показатель, как и два предыдущих, видится разумным и адекватным измерителем качества научного результата, полученного в итоге научного исследования. В самом деле, чем больше сделано ссылок на научную работу, тем, очевидно, выше интерес читателей к этой работе, что означает очевидное признание более высокого качества научного результата работы. Наглядность, простота определения и вычисления указанного показателя – его основные достоинства. Однако у него имеется очень много недостатков. Во-первых, большое число ссылок на научную работу может означать совсем иной повышенный интерес к работе, вызванный желанием отругать автора за низкое качество работы, за непрофессионализм и т.д. Во-вторых, ссылки часто могут быть связаны с требованием журналов давать в статье обзор литературы по тематике статьи. В таких случаях число ссылок на ту или иную работу характеризует лишь доступность этой работы для авторов статей и в большинстве случаев не имеет никакого отношения к признанию качества этой работы. В-третьих, существуют ссылки, имеющие своей целью обеспечение публикации представленной в журнал статьи (ссылки на работы членов редколлегии журнала, ссылки на работы близких знакомых – потенциальных рецензентов статьи и т.д.). Ясно, что такие ссылки по определению не имеют никакого отношения к признанию качества цитируемых работ. В-четвертых, существуют определенные традиции цитирования, зависящие от дисциплины, страны! Например, в математике традиционно малое число ссылок на работы, авторов и журналы, тогда как в гуманитарных и особенно в общественных науках традиция прямо противоположная. Далее, в России существует традиция малого числа ссылок в технических, естественных и точных науках, в западных же странах традиционно большое число ссылок в этих науках. В связи с этими различиями показатель «число ссылок на изданные работы» не может быть универсальным показателем качества результатов научной деятельности для всех дисциплин.

Итак, вследствие перечисленных недостатков показатель «количество ссылок на изданные научные работы» не может быть принят в качестве основного показателя результатов научной деятельности. Однако он может использоваться как вспомогательный показатель научной деятельности, дополняющий некоторый основной показатель.

4) Комплексные показатели, учитывающие количество изданий и их цитируемость (индекс Хирша). Индекс Хирша (h-индекс) является комплексным показателем, учитывающим совместно количество изданий и их цитируемость. Согласно ^[4], индекс Хирша научного работника – наибольшее число n его статей, таких, что на каждую из них имеется не менее n ссылок. По утверждениям создателя этого показателя Д. Хирша, h-индекс легко вычисляется, дает оценку важности, значимости и масштаба вклада ученого в науку и позволяет сравнивать ученых по их научным достижениям. Однако научная общественность развитых стран (в первую очередь, математики) раскритиковали данный показатель и выразили мнение, что он не обладает теми замечательными свойствами, о которых говорит его создатель. В работе автора ^[5], на основе детального анализа индекса Хирша установлено, что этот показатель не только не обладает полезными свойствами, декларируемыми его создателем, но и противоречит реальной статистике достижений ученых, а в отдельных случаях – даже здравому смыслу. Разумеется, вследствие указанных недостатков индекс Хирша никак не может быть принят в качестве основного показателя результатов научной деятельности ученого. Но это не исключает его использования в качестве вспомогательного показателя научной деятельности, поскольку согласно ^[5] у этого показателя есть реальный содержательный смысл – он показывает степень одновременного наличия у научного работника двух свойств: писучести и активизаторства.

5) Рейтинги журналов, в которых опубликованы статьи ученого (импакт-фактор). Импакт-фактор журнала – показатель научного уровня журнала за некоторый год. Он измеряется средним количеством ссылок на одну статью журнала за два предшествующих года. Причем принимаются во внимание все ссылки в статьях, опубликованных в одном конкретном году. Например, если импакт-фактор журнала составил 2,0 в 2015 году, это означает, что в среднем статьи, опубликованные в нем в 2013 и 2014 годах, были 2 раза процитированы в статьях 2015 года, изданных журналами из перечня индексируемых журналов. Основное достоинство импакт-фактора журнала заключается в том, что это, по-видимому, наиболее естественный показатель научного уровня журнала – по крайней мере, в первом приближении. Действительно, чем больше ссылок на статьи, опубликованных в журнале, тем, по-видимому, больше интерес читателей к данному журналу. Другое достоинство этого показателя – простота и понятность его определения и вычисления. Однако, у импакт-фактора много существенных недостатков ^[6]. Во-первых, определение имапкт-фактора как среднего числа ссылок неточно, так как многие журналы содержат редко цитируемые материалы (письма в редакцию, редакционные статьи). Такие публикации зачастую не учитываются в знаменателе импакт-фактора, но всегда учитываются в числителе, так что импакт-фактор – не вполне среднее число ссылок на статью. Во-вторых, двухлетний период, используемый в импакт-факторе, для некоторых областей мало приемлем. Например, в математике около 90% ссылок даются на статьи из журналов более чем двухлетней давности, так что здесь импакт-фактор учитывает лишь 10% имеющихся ссылок! В-третьих, импакт-фактор сильно зависит от научной дисциплины, что связано с различием традиций цитирования в разных дисциплинах. Так что сравнивать по импакт-фактору журналы, относящиеся к разным дисциплинам, нельзя. В-четвертых, импакт-фактор изменяется реально от года к году, причем изменения обычно больше для небольших журналов, у которых объем выборки очень мал. Так что импакт-фактор журнала – нестабильный показатель, что необходимо учитывать при сравнении небольших журналов по указанному показателю, выбирая для сопоставления не один, а несколько годов. В-пятых, импакт-фактор зависит не только от качества журнала, но и от языка издания журнала, поскольку число читателей и тем самым число ссылок зависит от этого языка. Наибольшие импакт-факторы имеются у англоязычных журналов, далее идут испаноязычные, франкоязычные и т.д. В-шестых, импакт-фактор журнала зависит от его типа. Например, журналы, публикующие обзорные статьи, обычно получают гораздо больше ссылок, чем остальные журналы, благодаря чему имеют более высокие импакт-факторы. В-седьмых, определение импакт-фактора не вполне ясно. Действительно, в соответствии со смыслом импакт-фактора как показателя научного уровня журнала в некотором году он должен измеряться средним количеством ссылок на одну статью, опубликованную в данном году, причем принимая во внимание все ссылки в статьях, опубликованных в двух следующих годах. Например, если импакт-фактор журнала в 2015 г. составил 2,0, это означает, что в среднем статьи, изданные в этом году, процитированы 2 раза в статьях в 2016 и 2017 гг., напечатанных журналами из перечня индексируемых журналов. Очевидно, что данное логичное определение импакт-фактора противоречит официальному нелогичному. Из-за множества указанных серьезных недостатков импакт-фактор нельзя считать основным показателем научного уровня журнала. Однако, его можно использовать как вспомогательный показатель этого уровня, дополняющим некоторый основной показатель (например, экспертную оценку).

В последние годы использование импакт-фактора журнала пытаются распространить на сравнение статей, их авторов, учреждений, в которых работают авторы, или даже целых областей знаний. При этом рассуждают так: если импакт-фактор журнала A больше, чем журнала B, то статья из A лучше статьи из B, автор статьи из A лучше автора статьи из B и т.д. Такая логика ошибочна, поскольку цитирования статей любого журнала подчиняются известному закону «10%/90%», т.е. все ссылки на статьи любого журнала реально делаются на 10% опубликованных в нем статей, тогда как на остальные 90% статей этого журнала ссылки отсутствуют. Таким образом, вероятность того, что наугад взятая статья, опубликованная в любом, даже самом высокорейтинговом журнале (например, с импакт-фактором, равным 15), будет процитирована, составляет постоянное и крайне незначительное число 10%! Другими словами, хорошая статья может украсить слабый журнал, подняв его цитируемость (импакт-фактор), но хороший журнал не может украсить слабую статью, подняв ее цитируемость! Кадры решают все!

К числу неуниверсальных показателей мы отнесем те показатели, которые, по мнению их создателей или по мнению какой-то части научного сообщества, лишь косвенно связаны с научной деятельностью ученого и содержат некоторую оценочную информацию о ее результатах. Ниже рассмотрены и проанализированы неуниверсальные показатели, перечисленные в § 2. Почти все они не являются библиометрическими, т.е. не связаны с публикациями и цитированием.

1) Количество проведенных конференций с изданием трудов (в качестве председателя оргкомитета). Этот показатель представляется разумным показателем качества проведенных под руководством председателя оргкомитета исследований, исходя из очевидного положения: чем больше проведено конференций и издано трудов, тем больше было достижений в проведенных исследованиях, на основе которых писались труды. Однако этот показатель косвенный, так как в конференциях и их трудах участвуют и сторонние коллективы, исследования которых прямо не связаны с председателем оргкомитета и проводимыми под его руководством исследованиями. Данный показатель просто определяется и подсчитывается, что является его достоинством. Однако у него немало недостатков. Прежде всего, принятое для него базовое положение о прямой зависимости числа научных достижений и числа проведенных конференций и изданных их трудов не всегда выполняется. В результате число конференций и их трудов может оказаться следствием не научных достижений, а, например, оборотистости председателя оргкомитета, его близости к кормушке и т.д. В этих случаях высокое значение данного показателя ничего не говорит о научных достижениях коллектива, возглавляемого председателем оргкомитета. Так что показатель «количество проведенных конференций» нельзя признать за основной показатель результатов научной деятельности, хотя в качестве вспомогательного показателя научной деятельности, дополняющего некоторый основной показатель, его вполне можно использовать.

2) Количество изданных статей, индексируемых в известных базах данных или опубликованных в ВАКовских журналах. Этот показатель принципиально не отличается от общего показателя «количество статей, изданных научным работником». Действительно, публикаций статьи в журнале, индексируемом в известной базе данных или в ВАКовском журнале, практически ничего не меняет, поскольку в паре «журнал-статья» главное – это статья. Хорошая статья может украсить любой журнал или базу данных, а вот хороший журнал или известная база данных не может украсить посредственную статью. Таким образом, этот показатель не стоит выделять из более общего показателя «количество статей, изданных научным работником», а тем более выставлять его как особо важный, как это нередко делает Минобрнауки. Разумеется, его нельзя считать основным показателем результатов научной деятельности, а лишь вспомогательным, который может дополнить некоторый основной показатель.

3) Количество изданных автором учебных пособий для студентов и аспирантов. Если указанные издания являются авторскими, т.е. реализующими оригинальную авторскую программу подготовку студентов и аспирантов, то в них могут содержаться результаты научной деятельности автора.

Поэтому такие издания можно считать показателем, оценивающим результаты научной деятельности их автора. О достоинствах и недостатках такого показателя можно повторить все то, что уже было сказано о достоинствах и недостатках показателя «Количество изданных монографий». Разумеется, рассматриваемый показатель, как и показатель «Количество изданных монографий», не может быть принят в качестве основного показателя результатов научной деятельности, но может использоваться как вспомогательный показатель, дополняющий какой-то основной.

4) Число защитивших диссертации под руководством ученого.Кандидатская диссертация, как известно, является квалификационной работой, в которой может и не быть никакой науки. Кроме того, как кандидатская, так и докторская диссертация может быть полностью выполнена самим диссертантом и не содержать личных результатов научного руководителя. Поэтому считать любую диссертацию показателем вклада в науку научного руководителя нельзя. Тем более нельзя считать показателем такого вклада количество защищенных диссертаций, выполненных под руководством данного руководителя. Вот простой пример: руководитель A «защитил» 10 диссертаций чисто «квалификационного» уровня, а руководитель B – одну диссертацию, в которой, однако, содержится открытие. Тогда по обсуждаемому показателю «вклад» в науку руководителя A в 10 раз выше, чем руководителя B, хотя ясно, что в действительности все наоборот. Таким образом, показатель «Количество защитивших диссертации» не может считаться показателем вклада в науку руководителя, тем более, основным показателем. Тем не менее, в качестве вспомогательного этот показатель может оказаться полезным. Например, значение этого показателя 100, очевидно, свидетельствует о существовании научной школы. Автору этой статьи известны случаи столь высокого и даже большего значения данного показателя.

5) Количество конференций, в которых ученый принимал участие с докладом. Как известно, сообщение о результатах одной и той же научной работы на различных конференциях считается в научном сообществе обычным делом, при этом количество таких сообщений в принципе никак не ограничивается. Сказанное означает, что рассматриваемый показатель вообще не может считаться показателем объема и качества выполненных научных исследований, тем более, основным показателем. Однако это не значит, что данный показатель бесполезен. Например, в случае большого численного значения, он может идентифицировать наличие успешно работающей научной школы или исключительной активности членов научного коллектива в продвижении научного бренда и т.д.

6) Число плагиат-публикаций, заимствованных из работ ученого.Данный показатель кажется адекватным, хотя, возможно, и неожиданным показателем качества результата выполненного ученым научного исследования. Действительно, чем больше заимствований (плагиата) из работ данного ученого, тем, очевидно, выше интерес к этому ученому у профессионалов, пишущих за деньги статьи и диссертации на заказ, а это и означает признание более высокого качества выполненной работы. Но у такого показателя есть и недостатки. Прежде всего, выбор работ для плагиата может определяться не качеством работы, а иными ее параметрами, например, высоким уровнем оформления, облегчающим процесс заимствования. Далее, выявление плагиат-публикаций достаточно сложно, и объективный подсчет количества таких «признаний» работ ученого крайне затруднителен. Поэтому этот показатель можно рекомендовать лишь как вспомогательный показатель качества научного исследования, дополняющий некоторый основной показатель.

1) Участие в общегосударственных и международных исследовательских программах. Количество таких программ, в которых участвует ученый, получивший приглашение от руководства программ, свидетельствует о его соответствующем признании научным сообществом. Если при этом ученый ведет реальную исследовательскую работу в рамках указанных программ и публикует определенное количество статей, пропорциональное количеству этих программ, то последнее можно считать показателем качества результата выполняемых ученым исследований. Конечно, этот показатель не может быть принят в качестве основного показателя качества научного результата ученого, поскольку нет прямой связи между числом выполняемых программ и качеством получаемой на выходе научной продукции. Тем не менее, указанный показатель можно использовать в качестве вспомогательного. Например, он может служить приближенной оценкой количества полученных в рамках выполняемых исследовательских программ научных результатов среднего уровня.

2) Число пленарных докладов на всероссийских и международных конференциях.Количество таких докладов ученого, которые, как правило, готовятся по персональным приглашениям Оргкомитетов конференций, свидетельствует, в первую очередь, о его соответствующем признании научным сообществом. Однако оно вовсе не обязательно является показателем большого вклада ученого в науку и качества научных результатов, отраженных в совокупности прочитанных им докладов, хотя нередко говорит именно об этом. Оно также часто может свидетельствовать об интересе Оргкомитетов к тематике докладов, мастерстве докладчика, привлекающем участников конференций и т.д. Поэтому данный показатель можно рекомендовать лишь для использования в качестве вспомогательного показателя научной деятельности ученого, дополняющего какой-нибудь основной показатель.

3) Количество прочитанных курсов в качестве приглашенного профессора. Такие курсы обычно читаются по приглашению руководства университетов и адресуются не только студентам и аспирантам, но и молодым преподавателям. Количество таких курсов, конечно, свидетельствует о признании лектора научным сообществом. Однако оно, как и предыдущий показатель, вовсе не обязательно является показателем признания большого вклада лектора в науку и качества научных результатов, отраженных в его публикациях, хотя иногда говорит и об этом. Оно может также свидетельствовать о заинтересованности учебной части университета в тематике ученого, его педагогическом мастерстве и т.д. Поэтому рассмотренный показатель можно рекомендовать только в качестве вспомогательного показателя научной деятельности ученого, дополняющего некоторый основной показатель.

4) Количество прооппонированных диссертаций. Оппонирование диссертаций происходит по приглашению руководства диссертационных советов. В связи с этим, количество подобных приглашений говорит о признании ученого научным сообществом как квалифицированного специалиста, способного объективно оценить оппонируемую диссертацию. Однако оно совсем не обязательно является показателем признания большого вклада оппонента в науку и качества его научных результатов и публикаций, хотя и не исключает этого. Оно может также говорить о большой заинтересованности диссертационного совета в особом мастерстве оппонента, его умении понятно и ярко объяснять содержание диссертации, четко и в соответствии с действующими инструкциями составлять отзывы на диссертации, его обязательности и аккуратности и т.д. Поэтому данный показатель следует применять лишь в качестве вспомогательного показателя научной деятельности, дополняющего некоторый основной показатель.

5) Количество выполненных рецензий на чужие работы. Выполнение рецензии учеными происходит по просьбам редколлегий журналов, научных фондов грантов, программ финансирования проектов и т.д. Причем процедура рецензирования аналогична процедуре оппонирования диссертаций. Поэтому свойства показателя «Количество выполненных рецензий» примерно такие же, как у рассмотренного выше показателя «Количество прооппонированных диссертаций». А именно, количество выполненных рецензий свидетельствует о признании ученого в качестве эксперта, способного объективно оценить рецензируемую работу, но не обязательно как человека, внесшего большой вклад в науку. Оно также может говорить о признании мастерства рецензирования, умения выявить новизну рецензируемой работы, ее вклад в науку и т.д. Поэтому данный показатель рекомендуется использовать только как вспомогательный показатель научной деятельности ученого, в дополнение к какому-то основному показателю.

1) Положительные рецензии на работы ученого. Количество таких рецензий естественно считать показателем, характеризующим общее признание ученого научной общественностью. Однако здесь не все так прозрачно. Например, ученый может организовать рецензию на свою статью, сам подготовив ее текст. Или даже наладить поточный выпуск таких рецензий, договорившись об обмене рецензиями с другими учеными. В коррумпированном государстве это является обычной практикой. Поэтому количество инициативных рецензий можно признать лишь в качестве вспомогательного показателя, характеризующего общее признание. При этом необходима проверка рецензий для выявления коррупционной составляющей.

2) Членство в редакционных коллегиях научных журналов. Количество редколлегий журналов, в которые входит ученый, в нормальных условиях естественно считать показателем, характеризующим общее признание ученого научной общественностью. Однако нормальные условия реализуются далеко не всегда. Например, в России для «высочайшего» одобрения (включения в список ВАК) в состав редколлегии часто стремятся включить как можно больше членов РАН. В результате некоторые академики оказываются членами редколлегий десятков журналов, названий которых они не помнят. Такое членство едва ли говорит о научном признании ученого. На региональном уровне нередко введение в состав редколлегии осуществляется по принципу «ты включаешь меня, я включаю тебя». Такое членство также не имеет отношения к признанию ученого. Поэтому информацию о членстве ученого в редколлегиях научных журналов необходимо тщательно анализировать, прежде чем учитывать в качестве показателя научного признания ученого. Причем этот показатель должен учитываться только как вспомогательный.

3) Членство в тематических государственных советах, ученых советах институтов, диссертационных советах. Количество тематических советов, ученых советов институтов, диссертационных советов, в которые входит ученый, естественно, по крайней мере, в нормальных условиях, считать показателем общего признании ученого научной общественностью. Однако ситуация здесь не так проста. Члены всех названных советов обычно не избираются научно-педагогическими работниками, а назначаются руководителями учреждений, при которых создаются эти советы. При назначении учитывается, в первую очередь, близость будущего члена совета к руководителю, его готовность следовать политике, намеченной руководителем. И лишь во вторую очередь (но далеко не всегда) учитывается признание, которым этот ученый пользуется у научной общественности. Поэтому информацию о членстве ученого в различных советах нужно внимательно анализировать и лишь после этого принимать решение, учитывать ли ее в качестве показателя научного признания ученого. И если вы обнаружили в составе ученого совета института начальника управления кадрами, главного бухгалтера и начальника спецотдела, а в составе государственного тематического совета – заместителя министра, директора института и управляющего банком, не торопитесь объявлять всех этих замечательных людей крупными учеными, пользующимися признанием научной общественности. Таким образом, считать членство во всевозможных научных советах показателем признания ученого научной общественностью следует крайне осторожно.

4) Членство в оргкомитетах и программных комитетах научных конференций. О качестве этого показателя оценки научной деятельности ученого можно повторить то, что было сказано выше по поводу показателя «Членство в тематических, ученых и диссертационных советах». Таким образом, считать членство ученого в различных оргкомитетах и программных комитетах научных конференций показателем его признания научной общественностью нельзя: этому заключению должна предшествовать тщательная проверка всех сторон научной деятельности ученого. Существует лишь одно исключение из указанного правила – когда речь идет о международных конференциях. На этих конференциях членов оргкомитета и программного комитета обычно подбирают из числа ученых, признанных мировой научной общественностью, для сохранения высокой репутации конференции. В целом, показатель «Членство в оргкомитетах и программных комитетах научных конференций» можно рекомендовать в качестве вспомогательного показателя научной деятельности ученого, его признания научной общественностью, дополняющего некоторый основной показатель.

5. Членство в национальных и общественных академиях наук.Избрание в члены национальной или общественной академии наук в различных странах мира обычно происходит голосованием на общем собрании академии наук или на собрании некоторого представительного органа академии – президиума, совета и т.д. Но голосующие члены академии наук представляют научную общественность своей страны. Поэтому, если академики голосуют честно, исходя только из интересов науки и не испытывая никакого внешнего давления, избрание нового члена академии наук можно рассматривать как его признание в качестве ученого научной общественностью. Однако не всегда академики голосуют честно и не испытывают внешнего давления. Поэтому на практике избрание нового члена академии наук вовсе не обязательно означает его признание как ученого всей научной общественностью. Например, никто не считает ученым академика РАН, бывшего главного санитарного врача России Г. Онищенко, так же, как никто не считает ученым академика РАЕН, президента Чечни Р. Кадырова. С другой же стороны, отсутствие звания академика никоим образом не свидетельствует об отсутствии вклада ученого в науку либо о его непризнании научной общественностью. Например, С.А. Яновская не была академиком и в то же самое время была крупным ученым, создателем советских научных школ истории математики и математической логики, признанным авторитетом в советском научном сообществе. Аналогично, Г.М. Перельман не является академиком, и он даже не доктор наук, однако его открытие в геометрии считается открытием века, а он сам признан одним из двух живущих ныне российских гениев (второй гений – Г.К. Каспаров). По указанным причинам членство в национальных и общественных академиях наук можно считать только вспомогательным показателем признания ученого научной общественностью, который следует использовать с большой осторожностью.

6. Награды, премии, почетные звания. Начнем с государственных наград, премий и почетных званий. Эти знаки признания деятельности ученого свидетельствуют о его признании только со стороны государства, но ничего не говорят об отношении к нему научного сообщества. Последнее выражает свое признание деятельности ученого своими собственными наградами. премиями и почетными званиями, вручаемыми ученым от имени негосударственных (общественных) академий наук, научных фондов и институтов. Данное различие существенно во всех странах, где доминирует государственное финансирование науки, и потому государство претендует на роль единственного оценщика научных достижений. На самом деле знаки общественного признания деятельности ученого гораздо весомее, чем знаки его признания государством, уже потому, что ученые лучше разбираются в науке, чем государство. Например, медаль Филдса Международного математического союза весомее медали «За заслуги перед отечеством», Нобелевская премия – Государственной премии РФ, а звание «Международный Человек Года» Кембриджского биографического центра – весомее звания «Заслуженный деятель науки РФ». Так что награды, премии и почетные звания научно-общественных организаций можно считать показателем признания ученого научной общественностью. Но показателя лишь вспомогательного, а не основного, поскольку возможны ситуации, когда ученый, внесший очень большой вклад в науку, так и не получил должного общественного признания. Так, выдающийся британский математик Алан Тьюринг, своими работами внесший неоценимый вклад не только в науку, но и в разгром фашистской Германии, у себя на родине не получил адекватного общественного признания из-за нетрадиционной сексуальной ориентации.

7) Репутация среди коллег – членов данной референтной группы. Положительная или отрицательная репутация ученого среди его коллег – членов соответствующей профессиональной группы – складывается из обобщенных положительных или отрицательных оценок этого ученого отдельными членами данной группы. Поэтому репутацию ученого среди его коллег, как результат агрегирования индивидуальных оценок этого ученого коллегами, можно рассматривать как показатель признания деятельности ученого научной общественностью. Конечно, сказанное верно только тогда, когда в формировании репутации ученого участвует достаточно большое число его коллег и коллеги при формировании своих индивидуальных оценок деятельности ученого поступают честно, исходя только из интересов науки и не поддаваясь никакому внешнему давлению. К сожалению, данное условие на практике далеко не всегда выполняется, и потому сформировавшаяся репутация ученого не обязательно соответствует действительности. Так что репутацию ученого среди его коллег следует рассматривать только как вспомогательный показатель, на основании которого нельзя давать итоговую оценку научной деятельности ученого. Для этого необходимо использовать и другие показатели этой деятельности.

1) Число выигранных грантов и объем финансирования по ним. Этот показатель Минобрнауки считает одним из главных, оценивающих эффективность научной деятельности ученого. Однако обоснованность выбора такого показателя эффективности вызывает серьезные сомнения. Действительно, гранты и определенный объем финансирования по ним обычно предназначаются для финансовой поддержки выполнения запланированных данным ученым научных исследований. Поэтому, чем больше значение этого показателя (т.е. чем больше грантов и финансирования по ним получил ученый), тем дороже обойдется выполнение запланированных ученым исследований и тем больше будет стоить каждый полученный им новый научный результат. Таким образом, количество выигранных грантов и объем финансирования по ним на деле являются показателем финансовых издержек научной деятельности ученого, т.е. имеет смысл, прямо противоположный тому, который вкладывает в него Минобрнауки России. Если говорить о собственно показателях результатов научной деятельности ученого, то количество полученных грантов и объем финансирования по ним не имеют к ним прямого отношения, поскольку количество и качество полученных в исследовании научных результатов не определяются их финансированием. Итак, количество выигранных грантов и объем финансирования по ним не являются показателем результатов научной деятельности ученого.

2) Число заключенных договоров на проведение научных исследований и объем финансирования по ним. Этот показатель, как и предыдущий, Минобрнауки РФ считает одним из главных, оценивающих эффективность научной деятельности ученого. Однако по причинам, изложенным при анализе предыдущего показателя, он не имеет прямого отношения к оценке результатов собственно научной деятельности, являясь на самом деле, как и предыдущий показатель, всего лишь показателем финансовых издержек в научной деятельности ученого. Разница между предыдущим и данным показателями финансовых издержек ученого заключается только в том, что при распределении грантов в рамках соответствующих конкурсов грантодатели обычно соблюдают некоторые приличия и обосновывают свои решения рецензиями на поданные заявки, в то время как при заключении договоров на проведение научных исследований конкурс заявок обычно отсутствует, так что заключение договора происходит просто в результате прямого контакта между заказчиком работы и приглянувшимся ему исполнителем. Впрочем, в России рецензирование заявок на гранты уже давно является чисто косметической операцией, предназначенной для придания видимости конкурса заранее принятому волевым порядком решению о распределении грантов между заявителями. Так что принципиальной разницы между показателями «Количество выигранных грантов» и «Количество заключенных договоров» нет: и тот, и другой являются показателями требуемых финансовых издержек в научной деятельности и не являются показателями результатов собственно научной деятельности.

3) Размер постоянной заработной платы ученого в университете или научном институте. Этот показатель Минобрнауки России считает показателем профессионального уровня ученого и, одновременно, академического уровня его университета (научного института). Многие научно-педагогические работники придерживаются такой же точки зрения. Однако эта точка зрения далеко не всегда верна. Конечно, в процветающем западном университете, пользующемся правами автономии, а также способном привлекать достаточное государственное и частное финансирование, есть возможность платить своим сотрудникам достойную зарплату, пропорциональную их профессиональному уровню. Однако большинство университетов и научных институтов не процветают, а автономия тех из них, которые являются государственными, сильно ограничена. В таких учреждениях зарплата не всегда может быть достойной, соответствующей профессиональному уровню работников. В научных и образовательных учреждениях нашей страны сложилось особенно тяжелое положение. Это связано в большой степени с тем, что бюджетное финансирование таких учреждений не предусматривает дополнительных средств для оплаты труда самых квалифицированных сотрудников, а право использования внебюджетных средств, заработанных самими учреждениями, предоставляется их руководителям, которые считают самыми квалифицированными сотрудниками своих учреждений только себя. В связи с приведенными только что соображениями размер зарплаты ученого и педагога в России нельзя считать показателем его профессионального уровня, а также академического уровня его университета (научного института). Более того, слишком часто наблюдается ситуация, когда наиболее высокооплачиваемые сотрудники российских научных и образовательных учреждений в действительности являются наименее квалифицированными педагогами и учеными.

В качестве такого показателя обычно выбирают комплексную оценку совокупности научных достижений ученого группой специально приглашенных независимых экспертов. Данный показатель является сугубо качественным, т.е. в отличие от библиометрических показателей, основанных на подсчетах журнальных статей и их цитирований, он не дает количественных оценок результатов научной деятельности, что доставляет некоторые неудобства при необходимости сравнения различных составляющих научных исследований – журналов, статей, авторов, дисциплин, научных учреждений и т.д. Кроме того, у данного показателя есть множество других недостатков, обусловленных его субъективным характером. Например, эксперт может незаслуженно высоко оценить достижения «своего» ученого и незаслуженно низко – «чужого». Однако показатели, основанные на экспертных оценках, обладают одним огромным преимуществом над всеми остальными показателями. Именно, эксперт и пригласившая его для проведения экспертизы организация берут на себя личную ответственность за качество экспертизы. Поэтому любая несправедливая экспертная оценка быстро приводит к падению репутации как эксперта, так и пригласившей его организации, и последующему их вытеснению с рынка экспертных услуг. Разумеется, сказанное справедливо, только если репутация эксперта (организации) создается в открытой конкуренции с другими экспертами (организациями), а не назначается волевым решением вышестоящей инстанции. Важнейшим условием создания системы действенной, открытой конкуренции экспертов (приглашающих их организаций) является открытость экспертов и открытость мнений ученых об экспертных оценках их работ. Пара «экспертная оценка работы ученого + ответ ученого на эту оценку» должна быть опубликована, став доступной научному сообществу. После чего научное сообщество будет способно без особого труда вынести свою, окончательную оценку работы ученого. Таким же путем можно объективно оценивать отдельные статьи ученых, самих ученых, журналы, научные учреждения и т.д. Из сказанного должно быть ясно, что комплексная оценка совокупности научных достижений ученого экспертами может быть принята в качестве основного показателя результатов его научной деятельности, позволяющего сделать заключение о реальном вкладе ученого в науку.

Можно предложить, на основе высказанных выше соображений, следующий алгоритм оценки результатов научной деятельности ученого с помощью основного и вспомогательных показателей этих результатов.

Шаг 1. Выбор и приглашение группы экспертов организацией, ответственной за проведение оценки.

Шаг 2. Выбор экспертами подходящего подмножества множества вспомогательных показателей результатов научной деятельности ученого.

Шаг 3. Определение числовых значений выбранных вспомогательных показателей для всех ученых, участвующих в процедуре оценки.

Шаг 4. Выделение подмножества участвующих в процедуре оценки ученых, у которых числовые значения вспомогательных показателей (число публикаций, количество ссылок на них и т.д.) превышает установленный порог, и их номинирование для участия в заключительной процедуре оценки результатов научной деятельности.

Шаг 5. Оценка результатов научной деятельности выделенных ученых и их ранжирование выбранной группой экспертов. Объявление победителями ученых, которые показали первых результатов. Число устанавливается заранее.

По данному алгоритму фактически работает большинство авторитетных международных научных фондов (Фонд Сороса, Фонд Макартура и др.), присуждается большинство авторитетных международных премий (Нобелевская премия, Абелевская премия, премия Вольфа и т.д.).

Итак, из 26 количественных показателей, претендующих на звание основных показателей, оценивающих достижения ученого, и усиленно проталкиваемых руководством науки и образования Российской Федерации и многих зарубежных стран, ни один не является на деле основным показателем, обладающим приписываемыми ему свойствами. Все эти показатели не позволяют получить оценку важности совокупного вклада ученого в науку, сравнить научные достижения различных ученых, выделить выдающихся ученых и т.д. В руках бюрократов, управляющих наукой, перечисленные показатели несут большую опасность: требуя от научных работников высоких показателей, их толкают на то, чтобы вместо научных открытий заниматься публикацией как можно большего числа статей в высокоцитируемых журналах. В результате научная деятельность искажается, а качество статей и всей работы снижается. Да и показатели, требуемые начальством, легко подделать, договорившись о взаимном цитировании с другими научными работниками. Единственным показателем, который показывает реальные научные достижения ученого, является экспертная оценка указанных достижений группой независимых экспертов.

Этот показатель не является количественным, однако, полученный с использованием 26 вспомогательных количественных показателей, с помощью алгоритма § 9, он способен дать объективную оценку вклада ученого в науку, объективно сравнить научные достижения различных ученых, объективно выделить выдающихся ученых и т.д. Поэтому нужно как можно скорее ограничить применение сомнительных количественных (в частности, библиометрических) показателей научных достижений ученых и вернуться к исторически проверенным экспертным оценкам ^[7].