On the Methodology for Assessing the Comparative Effectiveness of the Implementation of the Consolidated Budget by the Russian Federation Constituents in the Sphere of Preschool Education

В мировой практике накоплен немалый опыт в применении инструментов DEA-анализа для решения проблемы построения сбалансированной оценки эффективности использования ресурсов, направляемых на обеспечение развития и функционирования сложных систем ^{[22,25,26,29]}, подобных той какой является федеральной система дошкольного образования. Излагая материал о наиболее важных моментах реализации метода DEA, автор исходил из того, что теория метода достаточно полно и широко изложена в отечественной академической литературе ^{[8,10-14,17,19,20]} и заинтересованному исследователю не составит особого труда ознакомиться с нею.

Здесь же, ниже, кратко изложим суть метода и важнейшие моменты методики его реализации. Как известно, в DEA-анализе оценка сравнительной эффективности основана на достаточно простом соображении: сопоставляя величину произведенного «результата» (данные на «выходе») с величиной использованных ресурсов (данные на «входе»), можно определить на сколько эффективна рассматриваемая система относительно других, аналогичных систем (используемых те же ресурсы для производства того же продукта). Эффективность каждой системы, входящей в выборку количественно измеряется как отношение ее уровня используемых ресурсов или объема производимого продукта к лучшему соотношению «затраты-результат» из множества рассматриваемых вариантов. Из лучших соотношений строится производственная функция. Множество сравниваемых объектов, располагающихся на линии предельных производственных возможностей образует линию фронта абсолютной эффективности.

Основными достоинствами метода являются ^{[15, с.223]}:

· отсутствие необходимости привлечения экспертного знания в априорном задании весовых коэффициентов для переменных «входа» и «выхода» DEA-модели, что чрезвычайно важно в анализе;

· позволяет сформировать Парето-оптимальное множество эффективных субъектов в многомерном пространстве переменных «входа» и «выхода»;

· выявить субъекты, демонстрирующие лучшую практику (best ргасtiсе);

· возможна обработка больших массивов показателей, различной размерности.

Поскольку метод относится к непараметрическим, то его основными недостатками является большая чувствительность к выбранным исследователем набору показателей формирующим «вход» и «выход» DEA-модели, а также проблема гомогенности исходных данных. Хотя в последнее время было предложено немало способов минимизации этих недостатков, например, ^{[27,28,33,34,38,39]}.

Региональное правительство, осуществляющее финансовый менеджмент в сфере дошкольного образования, выступает в анализе как субъект принятия решений, для реализации которых используются средства консолидированного бюджета и территориальных государственных внебюджетных (ТГВ) фондов ^[1]. Решения регионального правительства имеют своей главной целью достижение определенного социального результата, в терминах DEA-анализа результат является параметром (параметрами) выхода DEA-модели. В нашем случае «выход» состоял из статистики о организациях (инфраструктура, персонал и др.) осуществляющих образовательную деятельность по образовательным программам дошкольного образования, присмотр и уход за детьми за 2015 год (оперативные данные Росстата) ^[2].

С точки зрения методологии DEA-анализа мерой эффективности расходов регионального правительства является соотношение между результатом и затратами, измеренное относительно выявленной «лучшей практики» среди всех рассматриваемых субъектов управления.

Цель исследования определила выбор DEA-модели: ориентированную на вход (input orientirte). Было принято решение использовать модель с двумя входами – одним монетарным (Y1), суть которого расходы консолидированного бюджета субъекта РФ и ТГВ фондов по статье дошкольное образование скорректированные на численность населения региона. Второй немонетарный (Y2), - доля расходов на дошкольное образование от расходов консолидированного бюджета и ТГВ фондов на образование.

Один из важнейших моментов в DEA-анализе связан с выбором отдачи от масштаба. Как известно, различают два вида моделей: модель постоянной отдачи или CCR-модель и модель переменной отдачи или BCC-модель. В случае с дошкольным образованием последняя модель более приближена к реальной действительности чем CCR-модель. Хотя бы потому, что переменные «выхода», по которым производиться оценка сравнительной эффективности имеют естественные пределы роста, в то время как переменные «входа» теоретически не имеют таких ограничений. Формально говоря, увеличение в k раз финансовых вливаний в эту сферу, необязательно должно привести к увеличению результата также в k раз. В действительности результирующий показатель не может расти до бесконечности. Подтверждение этого мы видим в жизни на каждом шагу и чаще убеждаемся в том, что эта взаимосвязь нелинейна. В экономической теории этот факт известен как концепция убывающей предельной производительности, предложенная в свое время американским неоклассиком Джоном Бейтсом Кларком ^{[9, с. 287-288]}. Ее нельзя не учитывать при оценке сравнительной эффективности. Практика DEA-анализа показывает, что в этом случае (при переменной отдаче от масштаба) значительно большее число регионов может оказаться расположенными на фронте эффективности, чем в случае CCR -модели.

Агрегированная оценка эффективности расходов консолидированного бюджета (далее ЭРСКБ-оценка) строилась на основе частных оценок (субоценок) эффективности расходов средств бюджета по 7 направлениям (в соответствии с основными направлениями расхода средств консолидированного бюджета и ТГВ фонда по которым осуществляется статистическая отчетность):

· масштаб ДО;

· доступность ДО;

· техническая инфраструктура дошкольных образовательных учреждений (ДОУ);

· информационно- коммуникационная инфраструктура ДОУ;

· инфраструктура качества ДО;

· обеспеченность ДОУ учебно-педагогическим персоналом;

· экономический статус учебно-педагогический персонала ДОУ.

Содержание и условное обозначение переменных, вошедших в каждый из указанных блоков «выхода» DEA-модели, приведены в таблице 1.

Таблица 1. Блоковая структура переменных «выхода» DEA-модели

Разумеется, преимущество такого подхода к построению агрегированного показателя реализуется только при принятии допущения, что высокая оценка по одному направлению может быть компенсирована низкой по другому. В этом случае, несмотря на широкий спектр характеристик изучаемого явления, получаем сбалансированные ЭРСКБ-оценки имеющие высокую аналитическую значимость.

Алгоритм построения оценки представляется следующим образом: на первой стадии по каждому из рассматриваемых направлений оценки формируется статистическая база показателей. Далее, каждый статистический показатель проверяется на возможность непосредственного включения его в соответствующий блок выходных переменных DEA-модели. В случае необходимости исходный статистический показатель преобразуется таким образом, чтоб его смысловое содержание характеризовало позитивный результат процесса (ДО), т. е. более высокие значения показателя должны отвечать его положительной динамике и способствовать росту значения оценки сравнительной эффективности затрат консолидированного бюджета и ТГВ фонда. Например, статистической основой переменной X8 блока «Доступность ДО» являлся показатель «Численность воспитанников на 100 мест в организациях, осуществляющих образовательную деятельность …» который был заменен на обратную величину получившую название «Количество мест в организациях, осуществляющих образовательную деятельность … на 100 воспитанников». В таком виде переменная соответствует логике DEA-анализа. Руководствуясь этим, были преобразованы исходные статистические показатели в противоположные для переменных: X8, X9, X11- X13 и в обратный для переменной X25.

Еще один важный момент подготовки данных связан с их нормированием. Считается, что модели переменного масштаба (BCC-модели) в отличие от моделей постоянного масштаба (CCR-моделей) могут сравнивать переменные «входа» вне зависимости от их размерности. Однако вычислительная практика показывает чувствительность BCC-модели к данным с большой дисперсией (выбросам), поэтому нормирование является крайне желательной процедурой. Есть еще одна причина для нормирования: при больших объемах данных нормировка положительно сказывается на скорости вычислений.

Для обеспечения достаточной «дискриминационной» способности DEA-модели по каждому тематическому блоку, проводилась её проверка на выполнение соотношения между суммой входных и выходных переменных и количеством объектов оценки в выборке, иногда называемое в англоязычной литературе как условие Боулина (Bowlin, W.F.) ^{[23, с.58]}или условие Подиновского ^{[32, c.124]}, или как Дайсона-Подиновского (Dyson, R.G., Podinovski V.V.) ^{[29, c.112]}.

Другой важный момент связан со способом расчета агрегированной оценки сравнительной эффективности бюджетных расходов по региону. Переход от оценок эффективности по отдельным направлениям к агрегированной оценке эффективности осуществлялся с использованием так же DEA- модели. В этом случае, как и в случае нахождения частных оценок эффективности, переменными «входа» явились расходы консолидированного бюджета субъекта Федерации и бюджета ТГВ фонда, а переменными «выхода» частные оценки эффективности по указанным направлениям расходования средств бюджета. Результаты свертки с использованием указанного подхода, а также с использованием традиционного подхода,- на основе средней (арифметической), приведены в таблице 2.

Таблица 2.

Частные и агрегированная оценки сравнительной эффективности расходования средств консолидированного бюджета и ТГВ фондов по субъектам Российской федерации.

Как видно, эти оценки (гр.8 и гр.9, табл.4), в ряде случаев, имеют существенные отличия, хотя в целом адекватно отражают характер распределения регионов в пространстве субоценок эффективности. Коэффициент корреляция между ними составил 0,98. В этой связи следует отметить, что к настоящему времени в бенчмаркинге все чаще прибегают к практике построения (свертки) агрегированного оценочного показателя с использованием DEA-моделей (если критерии попарно независимы по предпочтению). Обоснование правомерности такого подхода в свое время было дано американскими Р.Л. Кини и Х. Райфом ^[18], среди отечественных исследователей эта проблема рассматривалась в работах В.В. Подиновского ^[16] и А.С.Ахременко ^[6,7].

Еще один ключевой момент исследования связан с валидизацией методики. Требование валидности одно из важнейших, нарекания в адрес многих методик оценки эффективности вызваны именно сомнительностью в их валидности. Как известно, провести валидизацию - это показать, на самом ли деле полученные оценки измеряют именно то, что мы хотим измерить. Здравый смысл подсказывает, что ЭРСКБ-оценка определяется не только степенью профессионализма регионального правительства, его приверженностью эджайл (Agile)-принципам или умением применять скрам (Scrum) -технологии, но и объективными условиями внешней среды. Методика должна предусматривать учет того обстоятельства, что совокупность рассматриваемых регионов неоднородна по своим природно-климатическим, этно-социальным, демографическим признакам, по системе расселения, по освоенности территории и др.

Для решения проблемы валидности ЭРСКБ-оценки, монетарный «входной» показатель (расходы консолидированного бюджета и расходы территориального государственного внебюджетных фонда) DEA-модели делился на индекс бюджетных расходов (ИБР). Этот индекс рассчитывается и публикуется Министерством финансов РФ, он характеризует изменение затрат средств бюджета (на душу населения) в регионе, с учетом объективных местных условий и факторов, относительно среднего их уровня по стране, для оказания такого же объема бюджетных услуг ^{[4, c.4]}. Подобный прием достаточно широко используется в региональном финансовом анализе, он прост и, вместе с тем, дает достаточно надежные результаты ^[5,21].

В нашем случае, мерой валидности является степень изменения коэффициента корреляции ЭРСКБ-оценок, найденных с использованием входных данных «очищенных» и «неочищенных» от влияния условий внешней среды, с показателями, формирующими индекс бюджетных расходов Минфина России ^[3]. Ниже в таблице 3 показана корреляция между ЭРСКБ-оценками полученными при использовании в DEA-модели входных данных с учетом и без учета влияния условий внешней среды.

Таблица 3. Корреляция ЭРСКБ-оценок с базовыми показателями и результатами исчисления индекса бюджетных расходов Минфина России.

Как следует из таблицы, коэффициенты корреляции ЭРСКБ-оценок, полученных с использованием «очищенных» переменных «входа», с показателями условий внешнего окружения, по сравнению с корреляцией ЭРСКБ-оценок полученных с использованием «неочищенных» переменных «входа», изменились почти на порядок (в меньшую сторону).

Все регионы, исходя из величины агрегированного показателя сравнительной эффективности расходования средств консолидированного бюджета были разделены на три группы:

· 1-я группа «регионы-аутсайдеры» (ЭРСКБ-оценка < 0,60);

· 2-я группа «микст-регионы» (ЭРСКБ-оценка в пределах 0,60÷0,80);

· 3-я группа «регионы-лидеры» (ЭРСКБ-оценка >0,80).

Результаты ранжирования субъектов РФ в порядке возрастания агрегированной ЭРСКБ-оценки за 2015 г., показаны в табл. 4.

Таблица 4.

Группировка субъектов РФ по величине агрегированной оценки сравнительной эффективности расходования средств консолидированного бюджета и ТГВ фондов.

Анализ результатов позволил выявить ряд интересных моментов: как и предполагалось, дисперсия агрегированной ЭРСКБ-оценки ниже, чем среди субоценок, что обусловлено в значительной степени, «эффектом нивелирования», когда отставание в эффективности по одним направлениям оценки балансируется доминированием по другим.

Таким образом ЭРСКБ-оценка является сглаженной величиной, в определенной мере, уравновешивающей разные слагаемые эффективности и одновременно – их скрывающей.

Рассмотрим первую группу, куда входят регионы с низким значением ЭРСКБ-оценки (до 60%), таких 59 и вторую группу, так называемых «микст-регионов», со «средними» значениями оценки (от 60 до 80%), таких 21. Более 70% регионов первой группы характеризуются однородностью частных оценок эффективности по всем рассматриваемым направлениям расходования средств консолидированного бюджета. В то время как во второй группе, только у трех регионов (Белгородская, Тамбовская области и Хабаровский край) совокупность частных оценок эффективности является однородной. Как видно из таблицы 2 однородность частных оценок не подтверждает тезис о наличии прямой связи между сбалансированностью и уровнем агрегированной ЭРСКБ-оценки. В 7 из 80 регионов первых двух групп эффективность расходования финансовых ресурсов по одному из семи направлений оценки существенно выше чем по остальным. Чаще всего среди этих направлений - «Инфраструктура качества ДО» (республика Чувашия, Тюменская область и Ханты-Мансийский автономный округ), «Обеспеченность учебно-педагогическим персоналом» (Ненецкий автономный округ, Амурская область), по направлению «Масштаб ДО» (республика Тыва), а по направлению «Доступность ДО» (Амурская область). И только в четырех регионах – имеет место лидерство по двум частным направлениям ЭРСКБ-оценки: «Доступность ДО» и «Инфраструктура качества ДО» (г. Москва); «Экономический статус учебно-педагогических работников ДОУ» и «Обеспеченность учебно-педагогическим персоналом» (Курская область); «Инфраструктура качества ДО» и «Обеспеченность учебно-педагогическим персоналом» (Камчатский край и Магаданская область).

Повышение эффективности расходов бюджета практически по всем направлениям выступает существенным резервом повышения ЭРСКБ-оценки в регионах 1-ой группы. Эти регионы являются абсолютными аутсайдерами. Если к 59 регионам 1-й группы прибавить 21 регион из 2-й группы («микст-регионы»), у которых по большинству направлений оценки также «провальные» позиции, то получим объективную (тревожную) картину положения дел с расходованием средств консолидированного бюджета в сфере дошкольного образования относительно лучших практик «best practics», представленных в 3-й группе.

Третья группа объединяет регионы-лидеры, занимающие с 1 по 5 места в общем перечне регионов по величине агрегированной ЭРСКБ-оценки. В эту группу вошли республики Ингушетия, Дагестан, Чеченская республика, Самарская область и Чукотский автономный округ. В основании 3-й группы находятся лучшие из лучших,- тройка регионов: Самарская область, республика Дагестан и Чукотский автономный округ, причем последний, в соответствии с методологией DEA-анализа, имеет абсолютно эффективную сравнительную ЭРСКБ- оценку равную 100%.

На первый взгляд субоценки эффективности у республик этой группы выглядят адекватно их агрегатной ЭРСКБ-оценке. Однако здесь, как и во второй группе «микст-регионов», частные оценки эффективности образуют неоднородные совокупности. На примере этой группы убеждаемся в наличии другой тенденции: прямой и тесной связи между значением агрегированной ЭРСКБ-оценки и вариацией частных оценок эффективности. По-видимому, некоторые частные оценки играют доминирующую роль в формировании агрегированной ЭРСКБ-оценки в сравнении с другими. Так Чеченская республика, имеет крайне неоднородную совокупность субоценок. По третьему и шестому направлениям оценок у нее самые «слабые» позиции в этой группе, однако высокие показатели по второму, четвертому и седьмому направлениям обеспечили ей в итоге место в пятерке лидеров. Проведенный анализ значимости семи частных оценок эффективности (по данным таблицы 2), с использованием метода главных компонент показал, что более 80% объясненной дисперсии приходится лишь на одну главную компоненту. Причем нагрузки у трех из семи входящих в эту компоненту переменных: «Техническая инфраструктура ДО», «Информационно-коммуникационная инфраструктура ДО» и «Экономический статус учебно-педагогических работников» близки к единице. Этот обстоятельство в значительной степени объясняет существование «странной» (на первый взгляд) тенденции и, в то же время, помогает определиться с выбором «критических» (на тот период времени) субоценок для агрегированной ЭРСКБ-оценки.

Таким образом, DEA-анализ показал, что по крайней мере, в 80 регионах из 85, т.е. в 94% случаев расходование средств консолидированного бюджета и ТГВ фондов, в сфере дошкольного образования, не эффективно. Напомним, что речь идет о показателе относительной эффективности. Лучшую практику в сфере бюджетного администрирования показывает Чукотский автономный округ, региональная система финансового менеджмента здесь является абсолютно эффективной по всем направлениям оценки.

Учитывая высокую чувствительность DEA-моделей к «выбросам», был проведен расчет ЭРСКБ-оценки по описанной выше методике применительно к той же совокупности субъектов РФ за исключением Чукотского автономного округа. В этом случае, абсолютно эффективной квалифицируется деятельность уже 6 субъектов: Тюменской, Самарской, Челябинской, Амурской областей и двух республик Дагестан и Тыва. В четырех субъектах: республиках Бурятия, Алтай, а также в Астраханской и Магаданской областях значения ЭРСКБ-оценки близки к 1. В то же время у остальных регионов ЭРСКБ-оценки остались практически на прежнем уровне. Таким образом о кардинальном изменении ситуации в лучшую сторону говорить не приходиться. Следует ли вообще воспринимать «позицию» Чукотского автономного округа в выбранном нами пространстве признаков как «выброс»? Ответ на этот вопрос можно найти в табл.5, если сравнить объемы используемых ресурсов на «входе» у аутсайдера (Свердловская и Калинградская области) и лидера - Чукотского автономного округа.

Таблица 5.

Показатели переменных «входа» у регионов- аутсайдеров и региона-лидера в DEA- модели расчета ЭРСКБ-оценки

Как видно из таблицы Чукотский округ, при использовании финансовых ресурсов в расчете на одного воспитанника (с учетом ИБР) на порядок меньше чем у аутсайдеров и направляя в сферу дошкольного образования меньшую долю (менее чем в 2,5 раза) средств чем у аутсайдеров, демонстрирует эффективность их использования в 2,5 раза выше чем у аутсайдеров. Нетрудно заметить, что положение дел с ресурсами на «входе» в принципе не измениться, если даже перейти к номинальному выражению затрат. Следовательно, предположение о том, что высокая агрегированная ЭРСКБ-оценка Чукотского округа обусловлена искусственным занижением размера используемых финансовых ресурсов путем корректировки их на величину ИБР следует отвергнуть, т.е. этот субъект в рассматриваемой совокупности регионов не является «выбросом».

1. В целом, применение DEA-метода к оценке сравнительной эффективности исполнения консолидированного бюджета субъектами федерации в сфере дошкольного образования позволило:

• провести диагностику эффективности расходования средств как по отдельным направлениям их использования, так и получить общую, агрегированную оценку сравнительной эффективности исполнения консолидированного бюджета субъектами федерации;

• найти количественную меру ЭРСКБ-оценки;

• отыскивать эффективные границы деятельности регионального менеджмента в пространстве входных и выходных факторов ДО;

• определить направления изменения переменных «входа»/«выхода» для достижения эффективности эталонной группы лучших регионов;

• провести оценку и сопоставить возможных сценарии развития системы с точки зрения сравнительной эффективности использования ресурсов субъектами этой системы.

2. Чем более многофакторными являются исследуемые региональные социально-экономические системы, тем более эффективным может быть применение рассмотренного метода.

Автор надеется, что полученные результаты послужат удовлетворению информационных потребностей федерального и регионального менеджмента, занимающихся проблемами оптимизации финансового обеспечения системы дошкольного образования в стране.