Assessment of the formation of competencies of a student based on his portfolio

Litvinov Vladimir Andreevich PhD in Physics and Mathematics Docent, the department of Informatics and Special Technology, Barnaul Law Institute of the Ministry of Internal Affairs of Russia 656038, Russia, Altaiskii krai, g. Barnaul, ul. Chkalova, 49 lva201011@yandex.ru Other publications by this author

Baumtrog Viktor Etmontovich PhD in Physics and Mathematics Associate Professor, Department of Informatics and Special Engineering, Barnaul Juridical Institute 656038, Russia, Altaiskii krai, g. Barnaul, ul. Chkalova, 49 barnaul@list.ru Other publications by this author

Реализация федеральных государственных образовательных стандартов (ФГОС) третьего поколения потребовала изменения некоторых подходов к организации и осуществлению учебного процесса. Одним из значимых отличий стандартов третьего поколения от своих предшественников является наличие компетентностного подхода при формулировке целей образовательного процесса. Если в предшествующих образовательных стандартах одним из главных критериев их реализации являлись объемы часов, отводимых на изучение конкретных дисциплин, и наборы знаний и умений, то в стандартах третьего поколения главными целевыми установками являются формируемые в процессе обучения компетенции.

К сожалению, в самих ФГОС не дается определения термина «компетенция», хотя некоторые авторы, ссылаясь на образовательные стандарты, приводят следующее определение: «Компетенция — способность применять знания, умения и личностные качества для успешной деятельности в определенной области» ^{[7, 15]}. Современный толковый словарь русского языка Т.Ф. Ефремовой определяет термин «компетенция» как «область знаний, круг вопросов, в которых кто-либо хорошо осведомлен». Если обратиться к федеральному закону «Об образовании в Российской Федерации», то во второй статье этого закона говорится: «обучение — целенаправленный процесс организации деятельности обучающихся по овладению знаниями, умениями, навыками и компетенцией, приобретению опыта деятельности, развитию способностей, приобретению опыта применения знаний в повседневной жизни и формированию у обучающихся мотивации получения образования в течение всей жизни» ^[1]. Далее в этой же статье закона определяется: «квалификация — уровень знаний, умений, навыков и компетенции, характеризующий подготовленность к выполнению определенного вида профессиональной деятельности». Таким образом, мы видим, что компетенции выделяются в особое качество субъекта обучения, отличное от набора знаний и умений.

В современной научной литературе можно найти много работ, посвященных методам оценки качества образования, определения уровня сформированности компетенций, как у выпускников образовательных организаций, так и у обучающихся на различных этапах освоения образовательной программы. Различие состоит не только в способах оценки, но и в выборе самих шкал оценивания. Например, в работе ^[17] выделяется четыре уровня сформированности компетенций: начальный, репродуктивно-познавательный, продуктивно-преобразующий, высший профессионально-компетентный. В качестве критериев оценки достижения соответствующих уровней предложено использовать: ценностно-ориентирующий, компетентностный, мотивационный, коммуникативный.

Наличие большого числа работ по рассматриваемой проблеме является косвенным подтверждением того факта, что в научной литературе отсутствует единая, устоявшаяся методика оценки сформированности компетенций при освоении образовательных программ различного уровня. Такое положение обусловлено, по мнению ряда авторов ^[6] несколькими факторами. Во-первых, измерения уровня компетентности обучающихся должным образом не стандартизированы. Не выработаны методы и модели такого измерения. Во-вторых, оценка компетенций в образовательных организациях осложнена отсутствием в ряде случаев возможностей моделирования реальных производственных условий.

На наш взгляд именно второй фактор играет определяющую роль при разработке методики оценки уровня сформированности компетенций. Компетентностный подход к оценке «полезности» сотрудника появился за долго до принятия федеральных образовательных стандартов третьего поколения. Многие коммерческие фирмы создавали свои модели компетенций сотрудников. Соответствие сотрудника этим моделям учитывалось при приеме на работу, продвижении по карьерной лестнице. Как указывает в своей работе В. Зима ^[9], по своей сути, компетентностный подход — это способ описания поведения человека.

Поведение человека, принимаемые решения специалистом зависят не только от его знаний и умений в конкретной предметной области. Большинство выпускников вузов на первом этапе своей трудовой деятельности менее активны (решительны), чем их коллеги, имеющие больший трудовой опыт. Далеко не от каждого молодого специалиста на первом этапе его трудовой деятельности требуется проявление широты знаний в предметной области, стратегическое мышление. Можно утверждать, что некоторые компетенции, формируемые в процессе обучения, имеют «отложенную» значимость. Оценка таких компетенций у выпускников представляется наиболее субъективной. В то же время их развитие происходит в течение всей трудовой деятельности специалиста. При этом основу составляют знания и умения, сформированные в процессе получения профессионального образования.

Испытывая трудности в создании универсальной методики оценки уровня сформированности компетенций, зададимся вопросом о потребности в такой методике. Насколько дифференцированные оценки уровня сформированности компетенций требуются. Ответ на этот вопрос во многом зависит от того, кто является потребителем этих оценок. Работодатель, молодой специалист или учредитель образовательной организации используют эти оценки для различных целей? Вероятно, востребованными будут несколько оценок.

Обратимся к истории вопроса. Компетентностный подход к результатам образовательной деятельности возник как элемент диалога между работодателем (потребителем услуг) и образовательными организациями. Работодателя не интересуют промежуточные результаты освоения образовательной программы, как и шкалы оценки компетенций, вводимые учебными заведениями. Многие организации при приеме на работу молодых специалистов применяют собственные тесты, анкетирование, проводят собеседование. Окончательное мнение о качестве подготовки специалиста, его компетентности формируется в первые месяцы работы молодого специалиста.

Ориентируясь на потребности работодателя необходимо учитывать, что они подвержены частому изменению, что и явилось одной из причин внедрения компетентностного подхода к оценке качества обучения. При этом необходимо учитывать, что компетенции, позволяющие специалисту быстро адаптироваться к изменяющимся условиям рынка труда, и компетенции, которые хотел бы видеть работодатель в молодом специалисте при его приеме на работу, далеко не всегда составляют один набор. В работе ^[18] отмечается, что каждая организация ориентирована на выполнение собственных бизнес целей, поэтому ориентируется на ограниченное количество компетенций (5–12) соискателя вакансии. Образовательная же среда нацелена на формирование компетенций без привязки к какому-либо ценностно-нормативному, идеологическому ядру. В профессиональной среде активно применяется классификация компетенций на пороговые и дифференцирующие, в том числе с учетом компетенций, формирующихся в основном вне системы высшего образования.

Несоответствие структуры и основных характеристик спроса работодателей на рабочую силу структуре и основным компетенциям выпускников образовательных организаций является известной проблемой не только в России, но и в странах с развитой экономикой ^[13]. Эти проблемы являются многие годы предметом дискуссий между представителями работодателей, образовательных организаций и учеными. Остается открытым вопрос о доли формального обучения в компетенциях работающего человека. Гибкость и неустойчивость спроса на труд, с одной стороны, снижает весомость конкретных профессиональных компетенций, получаемых в процессе обучения, с другой стороны, более высокий уровень формального профессионального образования повышает степень адаптируемости работников на рынке труда.

Добиваясь максимального трудоустройства выпускников, что является одним из критериев эффективности образовательной организации ^[4], путем ориентации на текущее состояние рынка труда, можно незаслуженно уменьшить роль фундаментальных знаний, лежащих в основе широты кругозора и стратегического мышления.

В работе ^[12] делается вывод, что «сложность оценивания уровня сформированности компетенций обусловлена тем, что компетенции проявляются только в действии, в процессе выполнения заданий... Общепрофессиональные компетенции можно сформировать только при овладении методами конкретной работы, непосредственном участии в обсуждении и решении конкретных профессиональных задач разнообразного характера в режиме реального времени (а не ситуации учебного кейса) с учетом множества факторов и рисков реальной производственной среды». На основании сказанного делается вывод о том, что оценка уровня сформированности компетенций может быть произведена только в условиях реальной производственной среды.

Не оспаривая данное утверждение, отметим, что нормативные документы ^[3] требуют от образовательных организаций иметь оценочные материалы для проведения промежуточной аттестации по отдельным дисциплинам и итоговой аттестации за весь период обучения. Нормативными документами предусмотрено привлечение представителей работодателя для составления оценочных материалов, участия в итоговой аттестации. Но это не меняет фактически саму систему оценки знаний и умений при промежуточной аттестации, не предполагает моделирования реальной деятельности во время итоговой аттестации.

Мы полагаем, что существующая система аттестации результатов обучения не позволяет создать универсальную методику оценки сформированности компетенций обучающихся. Например, студент первого курса получил оценку «удовлетворительно» по какому-то предмету, но в дальнейшем при работе над курсовыми и дипломными проектами успешно применял необходимые знания. Возможна и обратная ситуация. Для учета динамики знаний и умений за весь период обучения можно ввести комплексные испытания, которыми по своей сути являются выпускная квалификационная работа и государственные экзамены. Но возникает вопрос: «А для чего тогда проводились промежуточные аттестации? Как учитывать их результаты?».

В то же время, нельзя утверждать, что выпускники вузов 80-х и 90-х годов прошлого столетия, обучавшиеся «по старой системе», не обладали никакими компетенциями. Знания, умения и навыки составляют тот исходный материал, из которого и формируются компетенции. Чем больше этих знаний и умений, тем больше вероятность того, что их обладатель справится с поставленной задачей, тем большой уверенностью он будет обладать при принятии решения.

Очевидно, что традиционные методы контроля текущей и промежуточной аттестации ориентированы на проверку знаний и умений по отдельным дисциплинам, в то время как многие компетенции могут быть сформированы только при комплексном применении знаний, полученных при изучении нескольких предметов.

При существующей организации учебного процесса усилить компетентностный подход к контролю качества усвоения образовательных программ можно используя межпредметные курсовые работы. То есть слово «курс» отождествляется не со словом «предмет», а с определенным периодом обучения. В курсовой работе обучающийся должен продемонстрировать свою компетентность применения знаний и умений, полученных за предшествующий период обучения. В то же время необходимо учитывать, что результаты выполнения курсовых работ, доклады на научных семинарах и конференциях позволяют делать выводы об уровне компетентности автора в узкой области, но не свидетельствуют о полном освоении образовательной программы.

Отметим здесь также условность используемых шкал оценок. Традиционно в России для оценки результатов знаний, освоения учебного материала используется четырехбальная шкала: неудовлетворительно, удовлетворительно, хорошо и отлично. Признавая чрезмерную усредненность такой шкалы, многие образовательные организации применяют на промежуточном этапе рейтинговые системы оценок (что соответствует болонской системе), которые в итоге также переводятся в указанные выше оценки. Это обусловлено необходимостью сопоставления оценок, данных разными образовательными организациями.

Применительно к оценкам уровня сформированности компетенций не существует единой шкалы. При этом практика показывает, что фактически также используется четырехуровневая шкала с вариациями названий уровней и их значимости. В данной работе мы не будем акцентировать внимание на шкале оценки компетенций, а рассмотрим исходные данные и методы их обработки для получения некоторой количественной характеристики, связанной с уровнем владения той, или иной компетенцией выпускником образовательной организации. Подчеркнем, что в работе не ставится цель получить строгий алгоритм вычисления оценок уровня сформированности компетенций. Речь идет о том, чтобы на основе сложившейся практики накопления информации о траектории образовательной деятельности обучающегося в образовательной организации получить некоторые числовые параметры, характеризующие обладание компетенциями, предусмотренными федеральным образовательным стандартом по соответствующему направлению (специальности).

В работе ^[10] при анализе используемых различными авторами методов оценки сформированности компетенций указывается, что «как правило, сформированность компетенций оценивается с помощью расчета с использованием статистических методов оценки, таких как критерий Камера-Уэлча, критерия Хи-квадрат, j-углового преобразования Фишера, экспертной оценки, Т-критерия Вилкоксона данных анкетирования.

При использовании статистических методов обработки социальной информации необходимо особое внимание обращать на первичный отбор и накопление данных. Общеизвестно, что основываясь на нерепрезентативной выборке нельзя получить достоверные выводы, каковыми бы не были точными математические методы. При оценке уровня сформированности компетенций процедура отбора исходных данных, по нашему мнению, имеет первостепенное значение.

Например, в работе ^[8] представлен метод построения оценки компетенций на основе статистической обработки практически всей совокупности различных оценок обучающегося, полученных им во время учебы. Другие авторы делают основной упор на результатах выполнения обучающимся творческих работ, представленных им в портфолио. При этом не существует единого подхода к формированию этого портфолио.

Федеральными образовательными стандартами третьего поколения предусмотрено создание образовательными организациями, реализующими программы высшего профессионального образования, информационно-образовательной среды, составным элементом которой является портфолио обучающегося. Стандарт не определяет состав портфолио. Оговариваются лишь некоторые его составляющие: «…в том числе сохранение работ обучающегося, рецензий и оценок на эти работы со стороны любых участников образовательного процесса» ^[2]. В свете компетентностного подхода к итогам образовательного процесса представляется, что работодатель на основе портфолио молодого специалиста сможет сформировать собственное мнение о компетентности выпускника для его сферы деятельности.

Информационным системам формирования портфолио обучающегося в последнее время уделяют внимание практически все образовательные организации. При этом полнота накапливаемых данных зачастую зависит от уровня информатизации основных видов учебной деятельности и используемых информационных систем. В одних образовательных организациях в портфолио обучающегося включаются только творческие работы, курсовые проекты. С примером такого портфолио можно познакомиться на сайте Нижегородского технического университета ^[14]. Другие организации создают надстройки (плагины) для эксплуатируемых образовательных систем. Пример такого подхода изложен в работе ^[16]. Некоторые идут по пути использования общедоступных ресурсов сети Интернет, например, ^[5].

Накопление большого объема информации о результатах учебной, творческой деятельности обучающегося ^[5], несомненно, может помочь работодателю с выбором соискателя вакансии. Но необходимо учитывать и психо-физиологические особенности восприятия информации. При большом числе рассматриваемых однородных объектов человеку свойственно усреднять количественные характеристики. Также присутствует эффект разного распределения памяти по объектам в зависимости от их последовательности восприятия и образности. Оценить уровень сформированности компетенций обучающегося путем механического сложения результатов оценок работ из портфолио затруднительно.

Во всех приведенных выше примерах на второй план уходит академическая успеваемость обучающегося по предметам. Возможно, разработчики портфолио полагают, что её результаты отражаются в выписке к диплому государственного образца. В то же время отметим, что далеко не каждый выпускник образовательной организации имеет в своем багаже научные публикации, грамоты и дипломы за победы на научных конференциях. С другой стороны, даже большое количество наград в одной узкой области не свидетельствует о высоком качестве освоения образовательной программы.

Возвратимся к компетентностному подходу оценки результатов освоения образовательной программы. Нам представляется, что базовая оценка сформированности компетенций обучающегося должна проводиться на основе результатов промежуточных аттестаций по изученным дисциплинам. Эти результаты должны быть неотъемлемой частью портфолио обучающегося. Почеркнем, что речь идет не о сводной ведомости оценок по предмету, а о её трансформации на совокупность компетенций в соответствие с матрицей компетенций основной образовательной программы. Наличие или отсутствие в портфолио обучающегося дипломов и грамот влияет на высший уровень владения компетенциями.

Считаем, что было бы некорректно делать оценку уровня сформированности компетенций на основе среднего бала по дисциплинам, хотя бы потому, что при этом возникнет проблема учета оценки «зачтено». Если проанализировать рабочие программы по отдельным дисциплинам, то можно обратить внимание, что некоторые компетенции при изучении дисциплины формируются только частично. Эти части далеко не равномерно разделены между предметами. Таким образом, нам представляется необходимым дополнить матрицу компетенций, входящую в основные образовательные программы по направлениям подготовки (специальностям), весовыми коэффициентами. Указанные коэффициенты должны определять значимость содержательной части дисциплины для формирования той, или иной компетенции. В такую систему легко вписываются и дисциплины, изучение которых заканчивается сдачей зачета. Оценки «отлично» и «зачтено» при таком подходе соответствуют 100% вкладу доли дисциплины в итоговый результат, а оценки «хорошо» и «удовлетворительно» снижают эту долю до 75% и 50% соответственно. Последние два числовых показателя условны.

Также в матрицу компетенций необходимо включить результаты оценки курсовых работ, особенно это важно, когда при выполнении курсовой работы используются знания и умения, полученные при изучении нескольких дисциплин. В интегрирующую матрицу компетенций должны быть включены результаты производственных практик и успехи обучающегося в конкурсно-оценочных мероприятиях. Значения весовых коэффициентов составных элементов портфолио обучающегося должны устанавливаться в зависимости от направления подготовки (специальности).

Введение весовых коэффициентов дисциплин в матрицу компетенций позволит получать оценку уровня сформированности компетенций обучающегося на любом этапе освоения им образовательной программы. Предлагаемый в работе формализованный метод оценки компетенций может быть автоматизирован на основе имеющихся в образовательных организациях информационных ресурсов, входящих в электронную информационно-образовательную среду. Одним из вариантов такого решения может быть использование электронного журнала ^[11] с результатами промежуточных аттестаций.

Предлагаемый метод весовых коэффициентов составных частей портфолио обучающегося позволяет при необходимости учесть узкие «корпоративные» интересы работодателя. Имея несколько наборов весовых коэффициентов (матриц компетенции), можно определить предпочтительные сферы будущей деятельности выпускника образовательной организации, а также получить несколько оценок, ориентированных на разных потребителей.

Числовые величины оценок уровней сформированности отдельных компетенций могут быть в дальнейшем использованы для вычисления единого интегрального показателя качества освоения образовательной программы обучающимся. Такой интегральный показатель также должен вычисляться на основе специальных весовых коэффициентов, определяющих условную роль отдельных компетенций для соответствующей профессии.

В заключение отметим, что по многим дисциплинам оценки, получаемые обучающимися на промежуточных аттестациях, несут в себе в разной доли субъективную составляющую преподавателя, влияние некоторых случайных факторов. Предлагаемый в работе метод оценивания уровня сформированности компетенций позволит усреднить влияние этих факторов. В тоже время внесение в матрицу компетенций весовых коэффициентов также подвержено влиянию субъективного фактора. Для минимизации этого влияния необходимо, чтобы данные коэффициенты обсуждались высококвалифицированными специалистами, имеющими опыт межпредметной работы, с последующим утверждением ученым советом образовательной организации.

Качественная подготовка специалистов невозможна без обратной связи с заказчиком. Это относится также и к построению системы оценки этого качества. Образовательная организация должна проводить мониторинг успешности своих выпускников, анализировать соответствие своих оценок уровня сформированности компетенций с результатами производственных успехов выпускников и вводить коррективы в весовые коэффициенты матрицы компетентности.