Evaluation systems and approaches towards analyzing the impact of the results of scientific research upon the economy and society: international experience

Popova Svetlana Mikhailovna PhD in Politics Associated professor, Center for Comparative Law, Shenzhen MSU-BIT University 518172, China, Guangdong Province, Shenzhen, International University Park Road, Dayun New Town, Longgang District, 1 condrieu2020@gmail.com Other publications by this author

Yanik Andrey Aleksandrovich PhD in Technical Science Leading Research Associate, Institute for Demographic Research of the Federal Center of Theoretical and Applied Sociology of the Russian Academy of Sciences 119333, Russia, g. Moscow, ul. Fotievoi, 6, korp.1, of. 1 cpi_2002_1@yahoo.co.uk Other publications by this author

Введение

Статья посвящена анализу современного зарубежного (главным образом, европейского) ландшафта наиболее распространенных систем оценивания вклада наук в социально-экономическое развитие, связанных с ними исследовательских подходов и актуальных проблем регулирования и принятия решений.

Систематическая, действующая в рамках установленных норм и правил оценка научных результатов объективно необходима как самим ученым ^[1-2], так и структурам, финансирующим научные исследования, в первую очередь, государству (см., например ^[3]) и международным организациям развития. По аналогии со становлением в современных государствах систем внутреннего и внешнего государственного аудита, необходимых для целенаправленного управления развитием национальной экономики и общества ^[4], в области измерения и оценки вклада наук также можно выделить два контура. Первый контур связан с внутренним контролем, когда экспертиза ценности результатов исследований осуществляется самим научным сообществом и является одной из специфических функций науки как социального института. Второй – с внешним контролем (аудитом), который осуществляется с целью определить эффективность и результативность «научного производства» и, соответственно, дать оценку деятельности органов государственной власти в сфере управления развитием науки.

Институционально-правовое становление и эволюция внешнего и внутреннего контура оценки научных результатов происходили неравномерно. На протяжении столетий (первые национальные академии наук возникли в XVI-XVII вв.) доминировали процедуры саморегулирования, когда оценку в форме экспертизы осуществляли сами ученые по принципу «равные среди равных» (peers) в «храме науки» ^[5].

По мере увеличения объемов бюджетного финансирования (сначала из казны монархов, потом – из средств налогоплательщиков) стали возникать и развиваться системы внешней оценки с различными инструментами измерения результатов научной деятельности и степени их полезности для государства и общества. Задача формирования действенного внешнего контроля эффективности бюджетных расходов на научные проекты стала особенно актуальной с середины ХХ века, когда наука столкнулась с объективными ограничениями в финансовых возможностях государства и необходимостью получать согласие общества на пределы своего развития.

Согласно последним доступным данным (начало 2020 г.) расходы только государств-членов ОЭСР на исследования и разработки, включая фундаментальные изыскания, составили 1,564 трлн. долларов США в текущих ценах ^{[6, p.10]}. Рост научных бюджетов сопровождается активным развитием внешнего контура управления наукой и государственной научной политики (целенаправленное регулирование институционализированного производства знания). Необходимым элементом системы управления является аудит эффективности расходования средств на научные исследования с постоянным совершенствованием оценочных методов и процедур, ориентированным на удовлетворение динамично меняющихся интересов органов власти, различных стейкхолдеров, социальных групп и общества в целом.

Таким образом, систематическое измерение и оценивание научных результатов решает две взаимосвязанные задачи: выступает регулятором отношений внутри научного сообщества (помогает поддерживать особую систему норм, должный порядок и иерархичность на основе меритократической модели) и обеспечивает легитимацию в глазах общества права ученых претендовать на часть общественных ресурсов для осуществления своей специфической деятельности.

Очевидно, что содержание и задачи внутреннего и внешнего аудита эффективности функционирования науки различаются, поскольку в первом случае речь идет об анализе ценности результатов исследований для развития системы научных знаний (вклад в науку), а во втором – об обоснованности и разумности использования бюджетных средств, которая измеряется путем определения видов и количества научных «продуктов», а также продуцированных результатами научных исследований полезных эффектов по отношению к единице финансирования.

Источники и подходы

Анализ современных зарубежных систем измерения качества научных исследований был ограничен периодом 2010-2020, рамки которого формально заданы Стратегией экономического развития Europe 2020 ^[7] и Рамочной программой ЕС Horizon 2020 ^[8] по развитию научных исследований и технологий в Европейском научном пространстве (European Research Area, ERA).

Источниковую базу исследования составил массив мультиязычных публикаций, в который вошли:

- научные публикации, индексированные в системах цитирования WoS, SCOPUS, RCSI, РИНЦ;

- специализированные периодические издания, в частности, таких издательств, как Oxford University Press (Research Evaluation, Science and Public Policy), Cambridge University Press (PS: Political Science & Politics), Willey-Blackwell (Policy Studies Journal, Journal of the Association for Information Science and Technology), Elsevier (Research Policy), Taylor & Francis (Journal of Responsible Innovation), SAGE (American Sociological Review, Evaluation, Political Studies), Policy Press (Evidence and Policy);

- отчеты и рабочие материалы экспертных групп, в том числе, изданные MIT Press, OECD Publishing, Oxford University Press, RAND, SAGE, Springer;

- руководящие принципы, лучшие практики и примеры оценки финансируемых ЕС научно-исследовательских и инновационных проектов;

- правовые акты, материалы, отчеты, руководства зарубежных органов государственного управления по тематике, релевантной исследованию.

Помимо инструментария теории государственного аудита и общенаучных методов исследований, для решения задач были также использованы концептуальные подходы теории изменений.

Современные системы измерения эффективности или оценки социально-экономического воздействия каких-либо достижений (в том числе, результатов научных исследований) по большей части используют представления о «цепочке результатов» (results chain), иными словами, логической модели достижения результата, которая восходит к практике оценки международных программ и проектов развития еще начала 1960-х годов ^[9]. Благодаря ее простоте и широкому распространения такая модель стали основным средством маркировки ^[10] метрик эффективности и меры влияния совершенных действий (Рис. 1):

Рисунок 1. Логическая модель оценивания результатов действий

Помимо начальных звеньев цепочки – Input (вложение ресурсов) и Activity (собственно действия), в рамках модели отражены три стадии измерения эффекта:

- Output, или отдача – это непосредственный результат действий (что получилось);

- Outcome - итоговая оценка полученного результатов (решение значимой проблемы, которое стало возможным в итоге получения именно этого результата);

- Impact, или воздействие (или влияние) – вызванные научным результатом значительные и устойчивые позитивные изменения в жизни людей, в сообществе, в мире, в окружающей среде и пр.

Научное сообщество на протяжении столетий использовало ту же логику (в иных терминах) для оценки качества исследований, поскольку, к примеру, задача научной экспертизы результатов исследований как раз и заключается в оценивании теоретического и практического значения полученного научного результата (outcomes) и возможных позитивных изменений в жизни общества (impact).

Идея выявления и оценки «цепочки результатов», возникающих в итоге реализации самых различных проектов, в силу своей простоты и логичности стала широко востребованной у лиц, принимающих решения. Как следствие, к настоящему времени возникла целая сфера профессиональной деятельности, связанная с «производством» и исследованием импактов (импактология), которая включает, помимо прочего, импакт-менеджеров и консультантов, технических писателей, специализирующихся на подготовке импакт-кейсов, компании, разрабатывающие специализированное программное обеспечение для измерения импакта и разного рода обучающие курсы ^[11].

Помимо этого, за рубежом достаточно давно сформировался спрос на импакт как естественную меру эффективности проводимой научной политики с точки зрения повышения научной конкурентоспособности, приращения богатства, роста производительности и социального благополучия. Одним из пионеров на практике стало Соединенное Королевство, где с 2014 г. критерий позитивных изменений в жизни общества (социально-экономических последствий) стал определяющим при оценке окупаемости бюджетных ассигнований на науку, которые государство рассматривает как инвестиции ^[12].

В рамках «культуры импакта» современная наука обязана постоянно демонстрировать государству и обществу запланированное «приращение благ», однако при этом ничего не говорится о выборе адекватных инструментов измерения импакта, учета неизбежного временного лага между произведенным эффектом и проведенным исследованием, которое, возможно, его вызвало, а также выяснением всех обстоятельств того, в какой степени исследование реально стало значимой причиной произведенных изменений ^[13-14]. Характерный пример – история возникновения «осязаемой пользы» для экономики и общества от теории относительности. Как известно, в настоящее время точность геопозиционирования обеспечивается, помимо прочего, тем, что на аппаратном уровне учитывается эффект релятивистского замедления времени при прохождении сигналов от навигационных спутников. Математически эта задача была решена А. Эйнштейном еще в 1905 году при создании специальной теории относительности. Однако понадобилось более 100 лет, чтобы этот результат превратился в технологическую инновацию (внедренное новшество), используемую в каждом смартфоне и GPS-навигаторе.

Оценочные системы

Описание ряда зарубежных систем внешней систематической оценки качества научных исследований, успешно действующих в настоящее время, приведены в Таб. 1.

Таблица 1. Примеры зарубежных систем внешней оценки качества научных исследований

Перечисленные оценочные системы представляют интерес в силу своей жизнеспособности (имеют развитые институционально-правовые основы, существуют достаточно долго, постоянно совершенствуются, на их основе возникают различные дериваты, используемые в других странах), а также попытками фиксировать и оценивать (пусть не всегда последовательно и успешно) влияние результатов деятельности ученых на людей, экономику и общество. Фактически, эти оценочные системы представляют собой современные политико-правовые и социальные технологии, которые в процессе их применения с разной степенью эффективности решают задачу «повернуть науку и общество лицом друг к другу».

Еще одна общая черта показанных выше оценочных систем – попытки учитывать сложность и многоаспектность научного поиска, а также возможность отдаленного во времени возникновения эффектов от исследовательских результатов. Важным является также то обстоятельство, что раунды и параметры используемых за рубежом оценочных процедур обычно нормативно зафиксированы на длительный промежуток времени (4-5 лет), который выходит за пределы легислатуры органов публичной власти, что теоретически должно ограждать ученых от давления политической конъюнктуры и слишком частой смены «правил игры».

Используемые в оценочных системах подходы и методы хорошо настроены на особенности функционирования национальных систем науки, образования и инноваций и, в стратегическом плане, ориентируются на национальные цели развития. Собственно, это обстоятельство и определяет нужность, эффективность и жизнеспособность подобных систем и методов.

Например, одной из базовых ценностей Нидерландов выступает открытость экономики и общества, поэтому, используемый в рамках системы SEP для оценки вклада наук в социально-экономическое развитие (причем, по всему перечню дисциплин) показатель «социетальной значимости» (societal relevance) настроен особым образом. Согласно SEP, в отчет должен быть включен специальный шаблон, объясняющий экспертам актуальность работы исследовательского подразделения для общества. Предполагается, что исследователи сами заранее позаботятся о том, в каких целевых группах или областях могут быть востребованы результаты их исследований и совершат дополнительные действия в этом направлении. В итоге, оценивается качество, масштаб и актуальность таких экспертных материалов, предназначенных для конкретных экономических, социальных или культурных целевых групп, консультативных докладов по вопросам соответствующей политики или материалов для участия в публичных дебатах, или в образовательных программах.

Интерес представляет британский опыт использования в оценочных процедурах концепта так называемого «более широкого воздействия» (broader impact).Речь идет о попытках выявить и оценить максимальный «охват» (широту) и «значимость» (глубину) воздействия научных исследований на экономику и общество. Сам термин broader impact изначально возник в деятельности Национального научного фонда (NSF) США. Под ним понимается воздействие, изменение или польза от проведенных исследований для экономики и общества, прежде всего, за периметром науки ^[21]. Однако практическое оценивание broader impact на национальном уровне впервые было проведено в Соединенном Королевстве.

Для выявления и измерения «более широкого воздействия» в рамках британских оценочных процедур REF2014 внимание было смещено с формальных показателей производительности труда ученого на оценку его результативности (output) по критериям оригинальности и новизны. Для измерения вклада (impact) готовились (с привлечением профессиональных импактологов) тематические кейсы на небольшие группы исследователей (порядка 10 человек) по близким темам, а в качестве характеристик «научной среды» использовались данные о количестве присужденных ученых степеней, объемов и источников внешних поступлений и размерах натуральных доходов от проведенных исследований. Всего было проанализировано и подвергнуто экспертной оценке два типа документов: около 2 тыс. сформированных шаблонов оценки (REF3a) – на основе более 190 тыс. результатов НИР, и около 7 тыс. тематических кейсов импактов (REF3b), связанных с работой более 52 тыс. исследователей из 154 учреждений высшего образования. В процессе оценки проводились калибровочные сессии по уточнению критериев, каждый шаблон и кейс рассматривался, по крайней мере, двумя экспертами, все коллизии устранялись, а практика подсчета баллов различалась между группами дисциплин и в рамках отдельных панелей ^[22].

Результаты проведенных оценочных мероприятий вызвали противоречивую реакцию. С одной стороны, удалось получить масштабную информацию о результатах британской науки и их влиянии на экономику и общество. С другой стороны, этот опыт показал, что распространение «культуры импакта» сопровождается негласной подменой содержательных оценок наборами формализованных требований их проведения (метрик, удобных для менеджеров науки). Как следствие, на практике происходит такое усложнение стандартов экспертизы качества исследований, что затраты на саму оценку начинают превышать возможные выгоды от ее проведения. Например, первый тур REF, проведенный в 2014 г., оказался настолько дорогим (только независимая экспертиза потребовала более 246 млн. фунтов стерлингов) и забюрократизированным, что спровоцировал политический скандал, поскольку итоги оценки можно было предсказать заранее, без всяких сложностей и расходов: из 164 университетов страны подавляющую часть финансирования (более 70% от общего объема) получили 24 наиболее престижных и элитарных университета (члены Russell Group - британский аналог американской Лиги плюща) ^[23].

После выхода Соединенного Королевства из Европейского союза и в преддверии нового тура REF, первоначально запланированного на 2021 год, британское правительство заявило о стремлении максимально снизить «контрольную нагрузку» на учреждения высшего образования и ученых. В частности, предполагается возможное сокращение использования формализованных метрик в пользу возвращения к описательным элементам в оценке социально-экономических импактов, а также повышение качества оценочных процедур за счет внимания к особой роли междисциплинарных исследований ^[23-24].

Критика доминирования формальных показателей в оценке влияния научных результатов привела (помимо расширения использования качественных методов в оценочных процедурах) к возникновению новой дисциплины – альтметрии. Под этим термином понимается совокупность методов и данных, которые продвигаются в качестве альтернативы (отсюда и название) традиционной библиометрии ^[25-26]. Идея альтметрии тесно связана с происходящей цифровой трансформацией всех сфер жизни, включая науку, и опирается, в основном, на данные, которые собираются при помощи API-интерфейсов платформ социальных сетей и сервисов блогов. Считается, что такая информация способна улучшить представление об итоговых результатах (outcomes) научных исследований ^[27].

Методы экспертизы

Несмотря на масштабное применение библиометрических и других формальных показателей в системах внешней оценки эффективности «научного производства», такой метод, как научная экспертиза со стороны ученых, работающих в той же предметной области, что и авторы оцениваемых проектов, по-прежнему остается «золотым стандартом» для качественной оценки результатов исследований. Более того, роль экспертизы и иных качественных методов только растет. Очевидно, что правильно организованная экспертиза не только обеспечивает легитимацию знаний и поддержание должного порядка внутри сообщества ученых, но и выполняет функции обратной связи в контуре внешнего управления наукой. Мониторинг показывает, что с каждым годом форматы проведения экспертной оценки становятся всё разнообразнее и сложнее.

На основе анализа зарубежной литературы, можно выделить четыре группы содержательных подходов к оценке качества и воздействия (импакта) научных исследований:

- Методология ранжирования результатов экспертизы научных исследований в рамках выбранной модели определения предпочтений с точки зрения их полезности для науки и общества (платформа Research Excellence Framework, или REF, Соединенное Королевство);

- Методология аудита (комплексной внешней оценки) качества и достоверности научных исследований, их применимости для ответа на большие вызовы, стоящие перед обществом и соответствия национальным целям развития (комплекс процедур Standard Evaluation Protocol, Нидерланды);

- Приложения методологии индикативного анализа трансформации (логической модели причинно-следственных связей) вклада (издержек) в непосредственные результаты и конечные эффекты исследований (комплекс подходов Theory of Change, США). Существуют важные, с точки зрения оценки, формы развития этой методологии:

- Методики итерационного (многоуровневого) оценивания логической модели импакта научных исследований (Contribution Analysis, Канада; Contribution Mapping, Нидерланды; Research Contribution Framework, Соединенное Королевство);

- Методология оценки «окупаемости» исследований на основе многомерной классификации его импактов (HERG Payback Framework, Соединенное Королевство);

- Стратегия интегрированной трансляции знаний и модели их совместного производства с учетом особенностей и барьеров циркуляции знания в межличностных сетях (Linkage and Exchange framework, Канада).

В целом, стоит отметить, что после периода увлеченности формальными показателями продуктивности научного труда, начался возврат к практике использования тщательно сформулированных правил (в форме концептуальных или логических моделей), которые некогда были разработаны и использованы самим научным сообществом для решения конкретных задач (framework approaches).

К таким подходам относится уже упомянутая теория изменений, которая была разработана в 1997 г. в качестве инструмента повышения результативности различных программ и политик путем выявления реальной взаимосвязи между совершаемыми действиями (шагами) и наблюдаемыми изменениями. Как известно, после завершения программы, при формальном достижении всех запланированных показателей желаемые социально-экономические изменения не всегда наступают, то есть происходит так называемый управленческий разрыв, который должна заполнить методология. Идеи теории изменений (иногда о них говорят, как о философии изменений) привели к бурному развитию подходов, нацеленных на совершенствование научного обеспечения различных политик с целью расширения их потенциала (capacity) и формированию элементов социально-политической теории, анализирующей механизм диалога между различными группами заинтересованных сторон ^[28].

Инструментарий теории изменений активно применяется международными организациями и институтами развития (ООН, ОЭСР, Всемирный банк). В Российской Федерации подходы Theory of Change используются, в частности, для анализа ресурсной обеспеченности и реализуемости стратегических проектов ^[29], а также для оптимизации проектной деятельности некоммерческих организаций ^[30]. За рубежом подходы теории изменений вместе с разработанными на их основе методологиями анализа вклада (Contribution Analysis, CA) и картирования вклада (Contribution Mapping, CM) применялись для оценки программ ЮНЕСКО, моделирования направлений углубления сотрудничества между партнерскими организациями разных стран, прогнозирования последствий действий путем проверки теорий изменений аналогичных вмешательств и изучения опыта неудач внедрения, или, например, социально-экономических эффектов внедрения систем искусственного питания новорожденных ^[31-32].

Анализ также показал, что на сегодняшний день наилучшие практики оценивания результатов исследований сложились в области наук о жизни, здравоохранении и медицинском обеспечении (life science, public health and medical care). Именно в этих областях традиционно принято готовить детальные отчеты о проведении исследований, продвижении лекарств и продуктов, клинической практике и, как следствие, о позитивных сдвигах в общественном «самочувствии». Однако потенциал этой практики, применительно к формированию общих методов оценки вклада наук в социально-экономическое развитие, осознается пока в недостаточной мере ^[33].

Наиболее известными и заметными подходами являются британская методология оценки «окупаемости» исследований (HERG Payback Framework) ^[34-35] и канадская концепция «установления связей и обмена знаниями» (Linkage and Exchange, LE framework) при их совместном производстве ^[36].

Методология HERG Payback Framework была разработана исследовательской группой в области экономики здравоохранения (Health Economics Research Group, HERG - государственный исследовательский университет Брунеля, Лондон). Методология опирается на два ключевых элемента: логическая модель исследовательского процесса в целом и набор категорий для классификации вкладов (individual paybacks) исследования.

Логическая модель включает в себя: семь этапов (от 0 до 6) и два интерфейса (А и В) между исследовательским процессом и его политическим, профессиональным и экономическим окружением. Модель представляет собой развитие «истории» (story) исследования: от первоначальной идеи (этап 0), через процесс анализа (этап 2) к его распространению (интерфейс B) и, далее, к его эффектам для общества, включая его конечные результаты в форме улучшения здоровья и экономических выгод (этап 6). В зависимости от типа финансирования проекта, стадия 0 может иметь двеформы: традиционную, связанную с решением конкретных задач и реализуемую внутри научного сообщества, или тема может быть поставлена более широко и сразу включать более широкую аудиторию с участием лиц, принимающих решения, медицинских работников, представителей пациентов и т.п.

Используется пять переменных категоризации видов «окупаемости»: (1) «знания» (библиометрия), (2) «преимущества для будущих исследований» (лучшее целеполагание, лучшие навыки и объем исследовательского потенциала), (3) «преимущества от более обоснованной политики» (совершенствование информационной базы для политических и управленческих решений, разработка лекарств и терапевтических техник), (4) «польза для здравоохранения» (улучшение состояния здоровья, снижение цен, повышение справедливости и качества предоставления услуг) и (5) «экономические выгоды» (коммерческое использование инноваций, сокращение числа потерянных по болезни рабочих дней) ^[34-35].

Методология HERG Payback Framework использовалась не только для оценки социально-экономических эффектов от внедрения новых лекарств и терапевтических техник, но также национальных программ медицинских исследований, в частности, финансируемых благотворительными организациями Австралии и Соединенного Королевства, или Национальными институтами здоровья (NIH) в США. Методология также имплементирована в рамках системы REF2014 для оценки вклада научных исследований на медицинских факультетах университетов. Указанный подход нашел успешное применение не только для оценки социально-экономических эффектов исследований в области здравоохранения, но и в других областях. Например, RAND Europe и HERG совместно адаптировали методологию и применили ее для оценки вклада исследований в области социальных и гуманитарных наук, а также в области современного и классического искусства (в частности, перформанса и изобразительного искусства) ^[37-38].

Что касается подхода LE framework, то эта канадская разработка, подобно концепции доказательной медицины, является одновременно как философией, так и стратегией преодоления разрыва между исследованиями (новыми знаниями) и практикой (решениями и действиями). Однако механизм преодоления разрыва в этих подходах принципиально разный. В случае принятия решений на основе фактических данных происходит трансфер результатов исследований в политику и практику, что можно считать классической технологической инновацией. Напротив, стратегия LE акцентирует внимание на межличностных связях (взаимодействиях) исследователей, направлена на вовлечение стейкхолдеров в процесс создания и изучения фактических данных, их совместное производство (knowledge co-production), и в этом смысле, является, скорее, социальной инновацией ^[39-40].

Подобный подход, предполагающий, что ученые и все заинтересованные в их результатах активные пользователи нового знания постоянно сотрудничают на всем протяжении исследований, очень распространен в канадской системе здравоохранения и даже получил специальное название «интегрированной трансляции знаний» (integrated knowledge translation) ^[41]. В практическом плане концепция LE framework на протяжении 20 лет является основой деятельности, в частности, Канадского исследовательского фонда здравоохранения (Canadian Health Services Research Foundation) - эндаумент-фонда, созданного федеральным правительством Канады для финансирования проектов научных исследований и подготовки персонала в сфере предоставления медицинских услуг совместно с органами публичной власти канадских провинций ^[42].

Что касается модели сопроизводства (co-production) общественных благ, используемой для фиксации и оценки полезных результатов научных исследований, то она была первоначально разработана для концептуализации особого типа отношений между поставщиками государственных услуг и их пользователями (гражданами). Считается, что эта модель представляет собой практический механизм приращения социального капитала – партнерских отношений государства и общества, которые основаны на доверии, поддержке и социальной активности внутри сообществ ^[43-45].

В модели сопроизводства принято выделять пять основных элементов:

1. Пользователи рассматриваются как активные агенты, а не пассивные субъекты или получатели услуг.

2. Существует неформальное равенство в отношениях между пользователями знания и профессиональными учеными (услуги более ориентированы на пользователя, а знания и опыт пользователей оцениваются наравне с опытом профессионалов).

3. Пользователи услуг и профессионалы осознают и признают свои отношения равными, взаимными и взаимовыгодными.

4. Расширение участия пользователей изменяет (трансформирует) способы разработки и предоставления государственных услуг.

5. Участие пользователей в совместном производстве услуг поощряется и облегчается на институциональном уровне (хотя признается, что именно люди, а не системы, создают изменения).

В последние годы модель сопроизводства стала использоваться также для описания участия лиц, принимающих решения и пользователей в прикладных научных исследованиях ^[46]. Однако здесь есть свои сложности, которые важно понимать, разделять и учитывать. Совместное производство знаний требует времени, ресурсов и размывания существующих границ между наукой и обществом и, одновременно, выработки соответствующих методологических подходов. Проблемы совместного производства включают в себя: (1) наличие конфликтующих ценностей, (2) ригидность институциональных структур, (3) избегание партнерами риска, (4) проблему подотчетности и (5) общую нехватку потенциала и стимулов. Наконец, различные заинтересованные стороны и группы имеют свои собственные культурные ценности и профессиональный язык, которые также могут ограничивать стремление к идеалу равных и доверительных отношений ^[47-48].

Таким образом, все участники сопроизводства знаний нуждаются в постоянных контактах, переговорах и помощи в «навигации» ^[49]. С этой точки зрения, ключевыми участниками сопроизводства знаний могут выступать брокеры знаний и политические предприниматели (policy entrepreneurs) - лица, имеющие достаточный исследовательский опыт и полномочия для понимания культуры, и методов науки, но также одновременно понимающие политический процесс и способные эффективно общаться с лицами, принимающими решения ^[50-51], а также управленческий персонал учреждений науки и высшего образования ^[52]. Деятельность таких людей обычно выходит за рамки традиционных ролей в науке, является принципиально инновативной, как правило, несет элемент риска, но приводит к финансовому вознаграждению ^[53-54].

В Российской Федерации методологические подходы партнерства и совместной деятельности используются, например, для оценки проектов сопроизводства социальной городской инфраструктуры сообществами территориального общественного самоуправления (приращение социального капитала) ^[55], или (в области приращения инноваций) для мониторинга состояния и динамики сектора интеллектуальных услуг ^[56].

Выводы

Вызовы современности изменяют место науки как социального института и роль ученых в обществе. На смену многовековым традициям самоуправления науки, воплощенным в так называемом «принципе Холдейна» (идея, согласно которой решения о том, какие исследования стоит финансировать, должны принимать сами ученые, а не политики ^[57]), пришли подходы «нового государственного управления», связанные с коммерциализацией производства знания и представлениями о бюджетном финансировании как инвестициях, требующих ускоренной отдачи.

Анализ зарубежных оценочных систем и подходов показывает, что создание контура внешнего аудита эффективности функционирования современной науки как сектора общественного производства является на сегодняшний день особенно сложной задачей, которая, несмотря на обширный опыт последних десятилетий, не имеет безупречных теоретических и практических решений ^[58].

В логике, вытекающей из теории государственного аудита ^[59], оценке подлежит эффективность деятельности органов исполнительной власти по управлению бюджетными и иными ресурсами государства. Однако применительно к сфере науки из-за сложностей анализа акцент переносится на экспертизу эффективности деятельности научных организаций и каждого ученого. Возникает ситуация «смещения целей» (displacement goals) ^[60], типичная для практики микроменеджмента науки, когда средства, выбранные для достижения цели, сами превращаются в цель. Возможно, именно этим объясняется рост во всем мире контрольной нагрузки на каждого исследователя и преподавателя, а также «сдвиг влево» по шкале времени сроков предоставления отчетности, поскольку профильным ведомствам необходимо собрать «снизу» и обработать всю информацию до наступления дедлайна по собственным отчетам перед внешним государственным финансовым контролем. Таким образом, повсеместная экспансия идей «неоменеджериализма» (включая управление наукой как бизнес-проектом с микроменеджментом деятельности ученого) содержит риск замещения долгосрочных стратегических целей развития сектора науки достижением краткосрочных и локальных успехов.

Представляется, что особенности функционирования объекта (наука) контроля и производимого им результата (научное знание) не позволяют без ущерба для качества получаемых выводов абсолютно разделить контуры внутреннего и внешнего аудита сектора науки, поскольку содержательное значение результатов могут оценить только эксперты – представители научного сообщества. Соответственно, содержательная оценка социально-экономической ценности научных результатов требует привлечения к экспертным процедурам реальных и потенциальных пользователей нового научного знания – представителей бизнеса и государства, различных общественных групп и других стейкхолдеров.

Это обстоятельство создает основные трудности при формировании оценочных систем, так как необходимость сочетания количественных и качественных методов оценки ведет к постоянному увеличению ресурсоемкости процедур: для получения достоверного результата расходуется все больше времени, финансов, материалов, человеческих ресурсов, включая привлечение различных стейкхолдеров. Как следствие, баланс «цена / качество» объективно смещается в пользу сокращения расходов времени и финансов.

Представляется, что разработка доказательных систем оценивания воздействия результатов исследований на общество и экономику сопряжено с необходимостью решения, как минимум, трех типичных задач.

Первая из них обусловлена выбором наиболее правильных сроков оценки импакта по принципу «вчера было рано, а завтра станет поздно».

Вторая – с правильным установлением связи «исследование-эффект» при наличии множества влияющих факторов и акторов ^[61].

Наконец, решение третьей задачи предполагает попытку сформулировать своеобразный «принцип дополнительности» импакта: результаты исследования теоретически способны изменять наблюдаемые процессы и эффекты, а значит, необходимы взаимоисключающие классы понятий (условно, сравнение характеристик «мира без результатов исследования» и «мира, на который повлияли результаты исследования»).

Совершенствование и правовое регулировнаие систем и подходов, предназначенных для оценки результатов исследований и эффективности функционирования сектора науки в целом, - это постоянный, творческий процесс, который стал сегодня составной частью более общего явления – коэволюции науки и методов государственного управления научным развитием.