Substantiation of invariant solutions based on educational qualimetry and theory of neural networks in evaluating the quality of educational institutions

Fatkhullin Robert Rifovich PhD in Technical Science graduate student, Department of Applied Mathematics and Informatics, Mari State University 424000, Russia, respublika Marii El, g. Ioshkar-Ola, pl. Lenina, 1 robertooo1990@gmail.com Other publications by this author

Однако данные случаи относятся к частным. В общем сложность решения многокритериальных задач состоит в том, что критерии конкурируют друг с другом. В большинстве практических задач поиск более предпочтительного решения по одному критерию приводит к тому, что решение становится менее предпочтительнее по другому критерию. Анализ таких ситуаций может осуществляться с помощью определения множества Парето. ^[1]

Рис. 1. Множество Парето в двухмерном пространстве

Часто требуется принять некое решение, выбрав один из возможных вариантов как оптимальный, при этом есть несколько критериев эффективности решения. Простой способ сокращения числа «кандидатов» на статус оптимального решения – выделение так называемого множества Парето. Способ заключается в сопоставлении объектов между собой, и выборе из них наилучшего. Определение множества Парето позволяет исключить заведомо неподходящие объекты. То есть, определение данного множества помогает из всего множества объектов исключить те, которые уступают другим объектам по всем критериям. ^[1] К сожалению, таким способом не всегда можно устранить все варианты, кроме одного. Этого нельзя сделать, когда некий Парето-оптимальный вариант обыгрывает «соперника» по одним критериям, проигрывая по другим. Несмотря на широкое использование множества Парето, данный способ получения решения задач, связанных с оценкой качества образования, неприемлем. Главным недостатком выделения такого множества является то, что фактически поиск ведется по ограниченному множеству критериев. Значения остальных критериев по существу не влияют на результаты поиска.

В случае, если мы рассматриваем оценку качества образования относящуюся к классу многокритериальных задач, наиболее оптимальным вариантом является использование методов свертки по критериям. ^[2] Рассмотрим модель комплексной оценки качества деятельности образовательной организации (ОО), основанную на образовательной квалиметрии, с использованием различных сверток.

В оценке качества деятельности общеобразовательной организации доминирующая роль принадлежит оценке результатов образовательной деятельности, количественная оценка которых основывается, в основном на результатах обучения (ЕГЭ и ГИА). Но при оценке результатов следует учитывать и другие показатели, влияющие на оценку результатов образовательной деятельности.

Оценка качества образования, подразумевает использование множества критериев, которые разделим на три группы: рейтинг учащихся, инфраструктура ОО и качество преподавания. На русинке 2 представлена структура качества деятельности общеобразовательной организации.

Рис. 2. Структура качества деятельности общеобразовательной организации

Для более точного учета вклада каждого показателя номенклатуры в общей комплексной оценке необходимо исходить из положения, что все показатели не равнозначны между собой. В соответствии с этим, показатель качества объекта характеризуется одним из двух статусов доминирующим или компенсирующим. Показатели одного статуса внутри одной группы отличаются друг от друга по весомости (коэффициента важности). ^[3]

В качестве методики определения статуса и весовых коэффициентов показателей качества деятельности образовательной организации, предложено ^[2,3] использовать метод экспертных оценок. Предполагается, что эксперты могут определить статус показателя и весовые коэффициенты – числа, определяющие важность критериев. При этом необходимо предложить методику эксперту, по которой он должен будет назначать баллы. Однако проблема заключается в том, что многие положения, связанные с оценкой качества образования, являются преимущественно качественными, и предлагать измерять их количественно в большинстве случаев неперспективно. Другая проблема заключается в проблеме поиска большой выборки экспертов.

Если применять нечетко выраженные обозначения, например «Равная важность», «Ниже среднего», «Умеренное превосходство», «Существенное или сильное превосходство», «Значительное (большое) превосходство», «Очень большое превосходство» ^[2], то от эксперта не требуется количественной точности, а требуется как раз субъективная оценка на естественном языке.

При обработке нечетких знаний возникает необходимость иметь количественную оценку для такого рода высказываний. Лингвистическое описание может быть сопоставлено с количественной (например, балльной) шкалой с помощью метода парных сравнений. ^[4] Результаты применения метода экспертных оценок могут быть использованы для решения сразу нескольких задач: определения статуса показателей качества, определения коэффициентов важности доминирующих и компенсируемых показателей, исключения наименее значимых показателей в группах. Другим способом обработки нечетких знаний является использование байесовской сети. ^[5]

Раскрытие структурности качества образовательной деятельности, определение номенклатуры взаимосвязанных показателей качества, определение статусов и коэффициентов важностей показателей позволит сформировать основу для разработки математической модели оценки качества деятельности образовательной организации. Расчет комплексного показателя качества деятельности общеобразовательной организации состоит из двух этапов:

1. Оценка единичных показателей в интервале от 0 до 1 (0 – низшая оценка, означающая полное несоответствие минимальным требованиям, 1 – высшая оценка);
2. Свертка оценок показателей в единую числовую комплексную оценку по специальным расчетным формулам.

Показано ^[3], что формула свертки доминирующих показателей:`D=root(n)(d_(1)*d_(2)*...*d_(n))`, где `D` – оценка группового доминирующего показателя, `d_i` – оценка единичного доминирующего показателя. Формула свертки компенсируемых показателей: `K=sum_(i=1)^nomega_(i)*k_(i),`

где `K` – оценка группового компенсируемого показателя, `k_i` – оценка единичного компенсируемого показателя, `omega_i` – коэффициент весомости единичного компенсируемого показателя, причем `sum_(i=1)^nomega_(i)=1`. Логическая формула свертки доминирующего (`D` ) и компенсируемого (K) показателей в комплексную оценку (`O`) по ^[11] описывается следующей формулой: `O=D & K v D`. Арифметическая формула свертки доминирующего и компенсируемого показателей в комплексную оценку ^[3]: `O=(sqrt(D*K)+D)/(2).`

Сбор и анализ информации по показателям качества деятельности ОО привели к необходимости разделения показателей по типу на четыре группы ^[10]:

• абсолютно измеряемые показатели (абсолютные количественные данные). Например, «Общая площадь всех помещений в расчете на одного обучающегося»;
• показатели по набору элементов. Например, «Наличие оборудованных постоянно действующих площадок для свободного самовыражения для учащихся начальных классов, обучающихся по ФГОС»;
• бинарные показатели (да, нет). Например, «Наличие лицензированного медицинского кабинета»;
• градуированные показатели (качество показателя оценивается по уровню его проявления – градации). Например «Участие в инновационных проектах за отчетный год (федеральных, региональных целевых программах и инновационных площадках)».

Для того чтобы трансформировать полученные результаты из одной числовой системы в другую числовую систему, необходимо произвести шкалирование. Определено ^[6] 4 уровня шкал измерения, отличающихся по степени, в которой принадлежащие им оценки сохраняют свойства множеств вещественных чисел. Это шкалы: номинальная (или номинативная, шкала наименований), порядковая, интервальная, шкала отношений. Необходимость использования одной шкалы позволяет привести результаты, полученные по различным показателям, к одному удобному для оценки виду.

Кроме того, при схожих единицах измерения, показатели могут иметь различные масштабы. Как количество компьютеров, так и количество обучающихся в ОО являются абсолютно измеряемыми, но только число компьютеров может быть порядка 15 единиц, а число школьников порядка 400-500. Чтобы избежать данных несоответствий, оценки по критериям делают безразмерными, так чтобы они принимали значения от 0 до 1. Один из способов нормирования по эталону:

`C^(')_i(a)=(C_i(a))/(C^*)` , где `C^*` – эталонное значения критерия, `C_i(a)` – значения i-го критерия

Покажем, что показатель требуется не максимизировать, а минимизировать. Например, если показатель «численность выпускников 11 класса, получивших результаты ниже установленного минимального количества баллов», тогда необходимо взять обратную величину, то есть отношение эталонного значения к измеренному. В случае, когда идеальный вариант по данному показателю определить сложно, рассмотрим несколько вариантов.

Оценка максимального показателя качества составляет `C^max(a)`, минимального - `C^min(a)`.Тогда нормирование для выполняется следующим образом:

`C^'_i(a)=(C_i(a)-C^min_i(a))/(C^max_i(a)-C^min_i(a))` ^[4], где `C^min_i(a)`, `C^max_i(a)` – минимально и максимально возможные значения `i` -го критерия `C_i(a)` – промежуточное значение.

Если же нам нужна минимизация, то вычисляем нормированные оценки следующим образом:

` C^'_i(a)=(C^max_i(a)-C_i(a))/(C^max_i(a)-C^min_i(a)) ` ^[4].

Результаты моделирования реализованы в модели комплексной оценке качества деятельности образовательной организации.

Таблица 1. Показатели деятельности общеобразовательной организации

Расчетный пример

Метод расчета комплексного показателя качества образовательной организации основанный на образовательной квалиметрии и методе экспертных оценок, предполагает использование одного доминирующего показателя в каждой группе, остальные показатели являются компенсируемыми.

По формуле свернем групповые доминирующие показатели: `D=0,2364`.

По формуле свернем групповые компенсируемые показатели: `K=0,3973`.

Свернем оценки по доминирующим и компенсируемым оценкам в единый комплексный показатель качества:

`O=(sqrt(0,2364+0,3973)+0,2364)/2=0,2715`

Расчет и сравнение данного показателя по отдельным ОО позволяет определить организацию с высоким и низким уровнем качества образовательной деятельности.

` `

` `

` `

При аналитической обработке данных, следует отметить, что часто используемые классические методики оказываются малоэффективными и не дающими результата. Это связано с тем, что невозможно достаточно полно описать систему образования с помощью небольшого числа критериев. В большинстве случаев в качестве математической модели для оценивания качества образования используют линейные модели. Но зависимости, встречающиеся в системе образования, часто нелинейны. ^[7] Более того, статистические методы хорошо развиты только для одномерных случайных величин. Если же необходимо учитывать для оценки качества образования несколько взаимосвязанных факторов, то приходится обращаться к построению многомерной статистической модели. Однако такие модели, как правило, не обоснованы теоретически и прибегают к эвристическим методам. Эвристические методы анализа, описанные выше, представляют собой особую группу приемов сбора и обработки информации, опирающуюся на профессиональное суждение группы экспертов. ^[8]

Сегодня уже недостаточно просто создания информационных подсистем по сбору информации, связанной с деятельностью образовательных организаций. Появляется необходимость в создании эффективных средств анализа полученной информации для оценки качества образования. Только в этом случае информационная система для оценки качества образования преобразуется в информационно-аналитическую систему. При построении таких систем с точки зрения проблемы качества образования получает возможность оценивать: рейтинг учащихся по дисциплинам, инфраструктуру, качество преподавания. Это в свою очередь позволяет сократить время при принятии решений и эффективно управлять образованием.

Одной из технологий аналитической обработки данных тест FASMI. FASMI – быстрый способ анализа доступной многомерной информации. С точки зрения пользователя, системы использующие данную технологию представляют средства гибкого просмотра информации в различных срезах, автоматического получения агрегированных данных, выполнения аналитических операций свертки, детализации, сравнения во времени. Все это делает системы решением с очевидными преимуществами в области подготовки данных для всех видов отчетности, предполагающих представление данных в различных разрезах и разных уровнях иерархии.

Из-за описанных выше недостатков традиционных способов последние годы идет активное развитие аналитических систем нового типа. В их основе – технологии искусственного интеллекта, имитирующие природные процессы, такие как деятельность нейронов головного мозга. Отмечено ^[9], что наиболее популярными и проверенными из этих технологий являются нейронные сети. Поэтому с их помощью успешно решаются разнообразные «нечеткие» задачи – распознавание образов, речи, рукописного текста, выявление закономерностей, классификация, прогнозирование. В таких задачах, где традиционные технологии бессильны, нейронные сети часто выступают как единственная эффективная методика решения.

Расчетный пример

Имеются показатели деятельности общеобразовательной организации, подлежащей самообследованию. ^[10] Пронормировав данные показатели, необходимо сформировать комплексную оценку ОО. Таким образом, необходимо спроектировать нейронную сеть, способную анализировать показатели ОО и правильно получать комплексную оценку.

Используем пакет прикладных программ Neural Network Toolbox (Нейронные сети) среды математического моделирования MATLAB.

Следует обратить внимание на структуру сети, проектирование которой будет проводиться. Очевидно, для формирования нейронной сети необходимо определить ее топологию, механизм обучения и процедуру тестирования. Кроме того, для ее обучения нужны входные данные – выборка ОО с достоверными комплексными показателями качества.

Начальная конфигурация нейронной сети прямого распространения выбрана на основе следующего эвристического правила: количество нейронов скрытого слоя равно половине суммарного количества входных и выходных нейронов. ^[12] Тогда, если входных нейронов 15 (число показателей), выходных нейронов 1 (комплексный показатель качества), то скрытых нейронов 8. Для решения задачи формирования комплексной оценки качества ОО может быть использована сеть прямого распространения информации – многослойный персептрон (MLP). Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Многослойный персептрон непосредственно подходит для решаемой задачи, так как имеет достаточно гибкую структуру и для его обучения имеется широкий диапазон алгоритмов.

Архитектура многослойного персептрона, которую необходимо построить, представлена на рис. 3.

Рис. 3. Структура нейронной сети

Параметры нейронной сети:

• первый слой – 15 входных нейронов, соответствует числу входных данных – единичных показателей качества;
• второй слой (скрытый) – 8 нейронов;
• третий слой – 1 выходной нейрон, так как требуется один выходной параметр – показатель уровня качества `K` ;
• алгоритм обучения: обратное распространение;
• нелинейная функция активации – сигмоидальная функция `f=1/(1+e^(-alphax)),`

с параметром `alpha=1.`

Сформируем обучающий набор индикаторов качества. Всего векторов 154, соответствует числу ОО. Обучающая последовательность представлена 100 входными образами (соответствует 100 ОО) и таким же числом ожидаемых показателей качества {P; T}, где P – векторы входов, T – вектор целей. Оставшиеся 54 вектора будут использованы для тестирования нейросети.

Для нейронов скрытого и выходного слоев выберем логарифмические сигмоидальные функции активации, потому что диапазон выходных сигналов для этой функции определен от 0 до 1.

Создадим трехслойную нейронную с параметрами описанными выше:

net=newff(minmax(P),[8 1],{'logsig','logsig'},'trainbfg');

Нейронная сеть использует один вектор входа с 15 элементами, имеющими одинаковые допустимые границы значений [0 1]; использует 2 слоя с 8 нейронами в первом (скрытом) слое и 1 нейроном во втором (выходном) слое; используемые функции активации: logsig – в первом слое, logsig – во втором слое; используемая функция обучения – trainbfg (функция тренировки сети, использующая BFGS квази-Ньютононовский метод ^[13]). Теперь следует настроить некоторые параметры алгоритма обучения:

net.trainParam.epochs=50000;

net.trainParam.show=2000;

net.trainParam.lr=0.15;

net.trainParam.mc=0.7;

net.trainParam.goal=0.0000001;

Здесь epochs – максимальное количество итераций обучения, show – интервал вывода информации, lr – скорость обучения, mc – постоянная момента, goal – предельное значение критерия обучения (ошибка сети).

Обучающая последовательность представляет собой 100 векторов входа из 15 элементов каждый и один выходной вектор состоящий из 100 элементов.

P=

T=

Итак, сеть построена, сформирована обучающая последовательность, выбран алгоритм обучения и настроены его параметры. Приступим к процессу обучения:

net=train(net,P,T);

После ввода данного выражения в командную строку системы MATLAB, открылось окно процесса обучения, показанное на рисунке 4. В данном окне показано, что процесс обучения завершился по достижении заданной точности за 799 итераций, время затраченное на обучение сети – 11 секунд. График зависимости ошибки сети от числа циклов представлен на рисунке 5.

Рис. 4. Окно процесса обучения

Рис. 5. График ошибки обучения

После обучения нейросети перейдем к этапу тестирования сети. Из имеющихся 154 вариантов векторов входа в процессе обучения не использовались 54.

Тестовая выборка TEST=

Ожидаемая оценка ANS=

Выход сети ANS=sim(net,TEST)

ANS =

Columns 1 through 16

0.4166 0.4877 0.3453 0.7052 0.5838 0.4994 0.5363 0.4579 0.4597 0.4686 0.5366 0.5258 0.3190 0.5245 0.3880 0.4801

Columns 17 through 32

0.6338 0.4983 0.5171 0.3550 0.4319 0.3732 0.5402 0.5130 0.4383 0.5186 0.4515 0.4549 0.4852 0.3879 0.5262 0.4897

Columns 33 through 48

0.5224 0.5452 0.3977 0.4592 0.6386 0.5144 0.4136 0.6421 0.4224 0.4512 0.4167 0.5266 0.4772 0.5252 0.5445 0.5546

Columns 49 through 54

0.6347 0.5778 0.4533 0.3924 0.3944 0.5058

В результате тестирования нейронной сети, выходные значения оказались близки к значениям тестовой выборки. Погрешность вычисления составила не более 0,01. Представленный анализ показал, что задача комплексной оценки качества образования по большому множеству показателей может быть адекватно решена с помощью нейронной сети (многослойный персептрон прямого распространения). Однако сложность данного метода может быть в выборе архитектуры нейронной сети и подготовке обучающей выборки для настройки нейронной сети.

Таким образом, в работе исследованы многокритериальные статистические модели для оценки качества деятельности образовательных организаций. Одна из них основана на образовательной квалиметрии и предусматривает использование методов свертки доминирующих и компенсируемых индикаторов в интегрированный показатель. Другая модель предполагает использование нейронных сетей и базируется на технологии аналитической обработки данных.

Доказана инвариантность полученных решений, основанных на образовательной квалиметрии и теории нейронных сетей при оценке качества деятельности образовательных организаций. Показаны результаты и точность расчета данных моделей.